Artikel · 5 min läsning

Hur fungerar en språkmodell?

ChatGPT, Claude och Gemini verkar förstå oss. Under huven gör de en enda sak, om och om igen: gissar nästa bit text. Här är hela vägen från bokstäver till svar, med figurer som du kan prova själv.

Kort svar

En språkmodell är ett neuralt nätverk som har tränats på enorma mängder text för att göra en enda sak: gissa nästa bit text. Texten delas upp i tokens, varje token blir en lång rad tal, och i dussintals lager låter modellen orden påverka varandra genom så kallad uppmärksamhet. Ut kommer en sannolikhet för varje möjlig nästa token. Modellen väljer en, lägger till den och börjar om. Allt den gör, från dikter till kod, bygger på den loopen.

En enda fråga, om och om igen

En språkmodell besvarar i grunden bara en fråga: vilken bit text kommer härnäst? Den räknar fram en sannolikhet för varje möjlig fortsättning, väljer en, lägger till den och ställer samma fråga igen. Ett långt svar från en chattbot är tusentals sådana gissningar på rad.

Modellen väljer inte alltid det mest sannolika ordet. En inställning som kallas temperatur styr hur djärv den är: låg temperatur ger förutsägbara svar, hög ger mer överraskande och till slut osammanhängande. Prova själv.

Figur 1Nästa ord

Figuren är interaktiv och behöver JavaScript.

Klicka på ett ord för att fortsätta meningen, eller låt modellen välja. Dra i temperaturen och se hur sannolikheterna jämnas ut. Siffrorna är påhittade men visar principen; en riktig modell väljer bland hela sitt ordförråd.

Från text till tokens

En dator kan inte räkna med bokstäver, så först delas texten upp i tokens. Vanliga ord blir ofta en enda token, medan ovanliga ord delas i flera bitar. Varje token har ett nummer i modellens ordförråd, som i dagens modeller brukar rymma över hundratusen tokens. Det är bara de numren som modellen ser.

Uppdelningen bestäms innan modellen tränas, med en metod som slår ihop tecken som ofta står tillsammans. Eftersom de flesta uppdelningar har tagits fram utifrån främst engelsk text delas svenska ord ofta i fler bitar än engelska, och det gör svensk text lite dyrare och långsammare att bearbeta.

Figur 2Text blir tokens blir siffror

Figuren är interaktiv och behöver JavaScript.

Skriv något och se hur det delas upp. Förenklad uppdelning med påhittade nummer, för att visa principen; varje modell har sin egen.

Ord som platser i ett rum

Varje token översätts sedan till en inbäddning: en lång rad tal, i stora modeller tusentals. Man kan se den som en plats i ett rum med lika många dimensioner. Under träningen hamnar ord med liknande betydelse nära varandra, och riktningar i rummet får mening. Steget från ”man” till ”kung” liknar steget från ”kvinna” till ”drottning”.

Det klassiska exemplet kommer från forskare på Google, som 2013 visade att man kan räkna med ordvektorer på det sättet. I dagens språkmodeller är bilden mer invecklad, men grundidén håller: betydelse blir geometri.

Figur 3Betydelse blir geometri

Figuren är interaktiv och behöver JavaScript.

Välj ett ord för att se dess närmaste grannar, eller räkna med betydelser. En förenklad karta i två dimensioner; en riktig modell har tusentals.

Uppmärksamhet: orden tittar på varandra

Ett ords betydelse beror på sammanhanget. I ”Katten satt på mattan eftersom den var trött” är det katten som är trött, men byt ”trött” mot ”mjuk” så handlar det plötsligt om mattan. För att lösa sådant använder modellen uppmärksamhet: varje token väger in tokens som kommer före den och bestämmer hur mycket var och en ska påverka den.

När modellen läser ”trött” riktar den uppmärksamheten mot ”katten”, och när den läser ”mjuk” mot ”mattan”. Lägg märke till att ett ord bara kan titta bakåt, aldrig framåt: en modell som skriver text vet ännu inte vad som kommer. Idén blev genombrottet i artikeln Attention Is All You Need från 2017, som presenterade transformern.

Figur 4Vart tittar orden?

Figuren är interaktiv och behöver JavaScript.

Byt sista ordet och välj vilket ord som ska titta. Ju starkare guld, desto mer uppmärksamhet. Vikterna är påhittade men visar principen; en riktig modell räknar fram dem i dussintals parallella huvuden i varje lager.

Lager på lager

Uppmärksamheten är bara det ena av två steg. Efter den bearbetar ett vanligt neuralt nätverk varje token för sig, och tillsammans bildar de ett lager. En stor språkmodell staplar dussintals sådana lager på varandra: GPT-3 från 2020 hade 96. Lager för lager blir representationen av texten rikare. Forskning tyder på att tidiga lager fångar mer av ordformer och grammatik och senare lager mer av betydelse.

Längst upp blir resultatet en sannolikhet för varje token i ordförrådet. En token väljs och läggs till texten, och nästa token kräver en ny resa genom alla lager.

Figur 5En token, hela vägen

Figuren är interaktiv och behöver JavaScript.

Varje ny token kräver en resa genom hela modellen. Förenklad bild; i en riktig modell sker beräkningarna för många tokens parallellt.

Träning: att gissa fel, miljarder gånger

Ingen har programmerat in vad modellen vet. Den har lärt sig genom att gissa nästa token i enorma mängder text och justera sina parametrar en liten bit efter varje miss. Meta tränade till exempel sin modell Llama 3 på över 15 biljoner tokens. Efter hand blir rätt svar allt mer sannolikt, och felet krymper.

Efter den första träningen kan modellen fortsätta vilken text som helst, men den är ingen hjälpsam assistent. Det blir den först efter finjustering, bland annat med RLHF, där människor bedömer modellens svar.

Figur 6Från slump till kunskap

Figuren är interaktiv och behöver JavaScript.

Dra i reglaget eller spela upp träningen. Siffrorna är påhittade men visar principen: felet, mätt som hur förvånad modellen blir av rätt svar, sjunker när den ser mer text.

Varför det fungerar, och var det brister

Det märkliga är hur mycket som ryms i den enkla uppgiften. För att gissa nästa ord i en deckare behöver man i någon mening följa intrigen, och för att gissa nästa rad i ett program behöver man förstå koden. När modellerna och datamängderna växer dyker nya förmågor upp. Om det är förståelse i mänsklig mening är omstritt, och om modellerna upplever något är en ännu svårare fråga. Den tar vi upp i Kan en AI bli medveten?

Samma mekanism förklarar svagheterna. Modellen strävar efter det sannolika, inte efter det sanna, och kan därför hitta på saker med stor säkerhet, så kallade hallucinationer. Den vet bara det som fanns i träningsdatan, om den inte får söka eller använda verktyg. Och eftersom den väljer med en viss slump kan samma fråga ge olika svar.

Källor

  1. Vaswani m.fl., Attention Is All You Need, 2017.
  2. Mikolov m.fl., Efficient Estimation of Word Representations in Vector Space, Google, 2013.
  3. Sennrich m.fl., Neural Machine Translation of Rare Words with Subword Units, 2016.
  4. Petrov m.fl., Language Model Tokenizers Introduce Unfairness Between Languages, 2023.
  5. Brown m.fl., Language Models are Few-Shot Learners (GPT-3), OpenAI, 2020.
  6. Tenney m.fl., BERT Rediscovers the Classical NLP Pipeline, 2019.
  7. Meta, Introducing Meta Llama 3, 2024.
  8. Ouyang m.fl., Training language models to follow instructions with human feedback, OpenAI, 2022.

Begrepp i artikeln

Så gör vi: Artiklarna skrivs med hjälp av AI, och varje faktauppgift kontrolleras mot källorna i listan ovan. Hittar du ett fel? Skriv till hej@sibolaget.se.

Fler frågor?

Ny på AI? Börja med Vad är AI? Ordlistan förklarar begreppen, och på startsidan finns raka svar på de vanligaste frågorna. Saknar du något? Skriv till oss.