Token to najmniejsza porcja tekstu, jaką przetwarza model językowy: fragment słowa, całe krótkie słowo lub znak. Okno kontekstowe to limit tokenów, które model obsługuje w jednym wywołaniu; mieszczą się w nim polecenie, dołączone materiały oraz generowana odpowiedź.
Modele nie czytają liter ani słów, tylko tokeny. W języku angielskim token odpowiada średnio kilku znakom; polskie słowa dzielą się zwykle na więcej tokenów, więc ten sam tekst po polsku „kosztuje" więcej niż po angielsku. Ma to bezpośrednie przełożenie na pieniądze: dostawcy modeli rozliczają użycie właśnie w tokenach, osobno za dane wejściowe i za odpowiedź.
Okno kontekstowe wyznacza, ile model widzi naraz. Gdy rozmowa albo dokument przekroczy limit, najstarsza część wypada: stąd asystenci, którzy w długiej rozmowie gubią wcześniejsze ustalenia. To także powód, dla którego sensowne wdrożenia nie wrzucają modelowi całej firmowej bazy wiedzy: technika RAG podaje mu tylko fragmenty pasujące do pytania, co jest tańsze i skuteczniejsze.
Dla zamawiających: przy wycenie wdrożenia AI zapytaj, jak wykonawca szacuje koszty tokenów przy Twojej realnej skali (liczba zapytań, długość dokumentów) oraz co się dzieje z rozmowami dłuższymi niż okno kontekstowe. Te dwa pytania szybko odróżniają doświadczony zespół od entuzjasty.