Token on tekoälymallien käsittelemä tekstin perusyksikkö. Yksinkertaistetusti yksi token vastaa noin yhtä sanaa tai tavua, mutta tarkemmin tokenisaatio riippuu mallista ja kielestä. Suomen kielessä pitkät yhdyssanat ja taivutusmuodot voivat olla useampia tokeneita kuin vastaavat englanninkieliset sanat.
Miksi tokenit ovat tärkeitä?
Tekoälymallien kustannukset, nopeus ja konteksti-ikkunan koko mitataan tokeneissa. API-kutsut hinnoitellaan tokenimäärän mukaan. Konteksti-ikkunan koko (esim. 128k tokenia) kertoo kuinka paljon tekstiä mallille voi syöttää kerralla.
Merkitys GEO:lle
Tiivis kirjoitustyyli on tokenitehokasta – sama informaatio välittyy vähemmällä tilalla. RAG-järjestelmät suosivat lyhyitä, täsmällisiä tekstikappaleita, jotka mahtuvat kontekstiin tehokkaasti.