Transformer on neuroverkkoarkkitehtuuri, jonka Google esitteli vuonna 2017 julkaisussa "Attention Is All You Need". Se mullisti luonnollisen kielen käsittelyn ja on lähes kaikkien nykyisten suurten kielimallien – GPT, Claude, Gemini, Llama – tekninen perusta.
Huomiomekanismi
Transformer-arkkitehtuurin ydin on huomiomekanismi (self-attention), joka mahdollistaa mallin huomioida tekstin eri osia samanaikaisesti kontekstin ymmärtämiseksi. Tämä tarkoittaa, että malli "ymmärtää" sanojen väliset suhteet pitkässäkin tekstissä – ei vain lähimpiä sanoja kuten aiemmissa arkkitehtuureissa.
Merkitys GEO:lle
Transformer-arkkitehtuuri mahdollistaa sen, että kielimalli ymmärtää kysymyksen merkityksen, ei pelkästään avainsanoja. Tämä tarkoittaa, että GEO-optimoinnissa kysymykseen vastaaminen semanttisesti on tärkeämpää kuin avainsanatiheyttä, jota perinteinen SEO painottaa.