Artikel · 5 min läsning
Hur fungerar en språkmodell?
ChatGPT, Claude och Gemini verkar förstå oss. Under huven gör de en enda sak, om och om igen: gissar nästa bit text. Här är hela vägen från bokstäver till svar, med figurer som du kan prova själv.
Kort svar
En språkmodell är ett neuralt nätverk som har tränats på enorma mängder text för att göra en enda sak: gissa nästa bit text. Texten delas upp i tokens, varje token blir en lång rad tal, och i dussintals lager låter modellen orden påverka varandra genom så kallad uppmärksamhet. Ut kommer en sannolikhet för varje möjlig nästa token. Modellen väljer en, lägger till den och börjar om. Allt den gör, från dikter till kod, bygger på den loopen.
En enda fråga, om och om igen
En språkmodell besvarar i grunden bara en fråga: vilken bit text kommer härnäst? Den räknar fram en sannolikhet för varje möjlig fortsättning, väljer en, lägger till den och ställer samma fråga igen. Ett långt svar från en chattbot är tusentals sådana gissningar på rad.
Modellen väljer inte alltid det mest sannolika ordet. En inställning som kallas temperatur styr hur djärv den är: låg temperatur ger förutsägbara svar, hög ger mer överraskande och till slut osammanhängande. Prova själv.
Figuren är interaktiv och behöver JavaScript.
Från text till tokens
En dator kan inte räkna med bokstäver, så först delas texten upp i tokens. Vanliga ord blir ofta en enda token, medan ovanliga ord delas i flera bitar. Varje token har ett nummer i modellens ordförråd, som i dagens modeller brukar rymma över hundratusen tokens. Det är bara de numren som modellen ser.
Uppdelningen bestäms innan modellen tränas, med en metod som slår ihop tecken som ofta står tillsammans. Eftersom de flesta uppdelningar har tagits fram utifrån främst engelsk text delas svenska ord ofta i fler bitar än engelska, och det gör svensk text lite dyrare och långsammare att bearbeta.
Figuren är interaktiv och behöver JavaScript.
Ord som platser i ett rum
Varje token översätts sedan till en inbäddning: en lång rad tal, i stora modeller tusentals. Man kan se den som en plats i ett rum med lika många dimensioner. Under träningen hamnar ord med liknande betydelse nära varandra, och riktningar i rummet får mening. Steget från ”man” till ”kung” liknar steget från ”kvinna” till ”drottning”.
Det klassiska exemplet kommer från forskare på Google, som 2013 visade att man kan räkna med ordvektorer på det sättet. I dagens språkmodeller är bilden mer invecklad, men grundidén håller: betydelse blir geometri.
Figuren är interaktiv och behöver JavaScript.
Uppmärksamhet: orden tittar på varandra
Ett ords betydelse beror på sammanhanget. I ”Katten satt på mattan eftersom den var trött” är det katten som är trött, men byt ”trött” mot ”mjuk” så handlar det plötsligt om mattan. För att lösa sådant använder modellen uppmärksamhet: varje token väger in tokens som kommer före den och bestämmer hur mycket var och en ska påverka den.
När modellen läser ”trött” riktar den uppmärksamheten mot ”katten”, och när den läser ”mjuk” mot ”mattan”. Lägg märke till att ett ord bara kan titta bakåt, aldrig framåt: en modell som skriver text vet ännu inte vad som kommer. Idén blev genombrottet i artikeln Attention Is All You Need från 2017, som presenterade transformern.
Figuren är interaktiv och behöver JavaScript.
Lager på lager
Uppmärksamheten är bara det ena av två steg. Efter den bearbetar ett vanligt neuralt nätverk varje token för sig, och tillsammans bildar de ett lager. En stor språkmodell staplar dussintals sådana lager på varandra: GPT-3 från 2020 hade 96. Lager för lager blir representationen av texten rikare. Forskning tyder på att tidiga lager fångar mer av ordformer och grammatik och senare lager mer av betydelse.
Längst upp blir resultatet en sannolikhet för varje token i ordförrådet. En token väljs och läggs till texten, och nästa token kräver en ny resa genom alla lager.
Figuren är interaktiv och behöver JavaScript.
Träning: att gissa fel, miljarder gånger
Ingen har programmerat in vad modellen vet. Den har lärt sig genom att gissa nästa token i enorma mängder text och justera sina parametrar en liten bit efter varje miss. Meta tränade till exempel sin modell Llama 3 på över 15 biljoner tokens. Efter hand blir rätt svar allt mer sannolikt, och felet krymper.
Efter den första träningen kan modellen fortsätta vilken text som helst, men den är ingen hjälpsam assistent. Det blir den först efter finjustering, bland annat med RLHF, där människor bedömer modellens svar.
Figuren är interaktiv och behöver JavaScript.
Varför det fungerar, och var det brister
Det märkliga är hur mycket som ryms i den enkla uppgiften. För att gissa nästa ord i en deckare behöver man i någon mening följa intrigen, och för att gissa nästa rad i ett program behöver man förstå koden. När modellerna och datamängderna växer dyker nya förmågor upp. Om det är förståelse i mänsklig mening är omstritt, och om modellerna upplever något är en ännu svårare fråga. Den tar vi upp i Kan en AI bli medveten?
Samma mekanism förklarar svagheterna. Modellen strävar efter det sannolika, inte efter det sanna, och kan därför hitta på saker med stor säkerhet, så kallade hallucinationer. Den vet bara det som fanns i träningsdatan, om den inte får söka eller använda verktyg. Och eftersom den väljer med en viss slump kan samma fråga ge olika svar.
Källor
- Vaswani m.fl., Attention Is All You Need, 2017.
- Mikolov m.fl., Efficient Estimation of Word Representations in Vector Space, Google, 2013.
- Sennrich m.fl., Neural Machine Translation of Rare Words with Subword Units, 2016.
- Petrov m.fl., Language Model Tokenizers Introduce Unfairness Between Languages, 2023.
- Brown m.fl., Language Models are Few-Shot Learners (GPT-3), OpenAI, 2020.
- Tenney m.fl., BERT Rediscovers the Classical NLP Pipeline, 2019.
- Meta, Introducing Meta Llama 3, 2024.
- Ouyang m.fl., Training language models to follow instructions with human feedback, OpenAI, 2022.
Begrepp i artikeln
Så gör vi: Artiklarna skrivs med hjälp av AI, och varje faktauppgift kontrolleras mot källorna i listan ovan. Hittar du ett fel? Skriv till hej@sibolaget.se.