Artikel · 15 min läsning

Varför hittar AI på?

Språkmodeller kan svara fel med exakt samma säkra ton som när de har rätt, och deras påhittade svar har hamnat i domstolar, regeringsrapporter och nyheter. Forskningen har börjat förstå varför det händer, och vad som hjälper.

Kort svar

För att en språkmodell är tränad att skriva trovärdig text, inte att skilja det den vet från det den gissar. Fakta som sällan förekommer i träningsdatan kan den inte lära sig säkert, och de flesta prov ger poäng för en gissning men inga för ”vet inte”, så modellerna lär sig att gissa. Inuti modellen finns en spärr mot att svara om okända saker, men den kan släppa när något känns bekant. Sökning och ny träning minskar felen men tar inte bort dem, så allt viktigt behöver kontrolleras.

Säkert, flytande och fel

Våren 2023 lämnade två advokater i New York in en skrivelse till en federal domstol i ett mål mot flygbolaget Avianca. Den hänvisade till tidigare domar, bland andra Varghese mot China Southern Airlines. Sex av dem fanns inte. De hade skrivits av ChatGPT, som en av advokaterna hade använt för att leta rättsfall. När han frågade chattboten om domarna var verkliga svarade den att de var det och gick att hitta i de juridiska databaserna. Domaren beskrev den påhittade domens juridiska analys som rena rappakaljan och dömde i juni 2023 advokaterna och deras byrå att betala 5 000 dollar.

Sedan dess har det hänt om och om igen. En databas som Damien Charlotin driver samlar domstolsavgöranden där en part har förlitat sig på påhittat material från AI. I maj 2025 innehöll den 87 fall. I november 2026 innehåller den 2 292, från domstolar över hela världen. I januari 2026 kom ett svenskt exempel: Eskilstuna tingsrätt sänkte ersättningen till en jurist som i sina inlagor hade hänvisat till fyra avgöranden från Högsta domstolen som inte finns. Domstolen kallade inlagorna för ”AI slop”. Stockholms tingsrätt skriver i sin verksamhetsberättelse för 2025 att den har sett en markant ökning av stämningsansökningar som har skrivits med AI, och att de ibland hänvisar till lagrum och rättsfall som inte existerar.

Det stannar inte vid domstolarna. Air Canada dömdes 2024 att betala en resenär som bolagets chattbot hade gett fel besked om rabatt vid dödsfall i familjen. Flygbolaget menade i praktiken att chattboten var en egen juridisk person som ansvarade för sina handlingar. Tribunalen kallade det ett anmärkningsvärt argument och påpekade att bolaget ansvarar för all information på sin webbplats, oavsett om den kommer från en vanlig sida eller en chattbot. Konsultjätten Deloitte gick 2025 med på att betala tillbaka en del av arvodet för en rapport till Australiens regering, sedan det visat sig att den innehöll påhittade källor och ett påhittat citat ur en dom. En av de påhittade rapporterna tillskrevs en forskare vid Lunds universitet. I april 2026 drog Sydafrikas regering tillbaka sitt förslag till nationell AI-policy, eftersom referenslistan innehöll källor som inte fanns. Och forskningen drabbas också. När forskare 2026 granskade 2,5 miljoner medicinska artiklar fann de 4 046 påhittade källhänvisningar i 2 810 artiklar, enligt en rapport i The Lancet. Antalet hade ökat mer än tolv gånger sedan 2023.

Fenomenet kallas hallucination. Cambridge Dictionary utsåg det engelska verbet för att hallucinera till årets ord 2023, med en ny betydelse: när en AI hallucinerar producerar den falsk information. Ordet är ändå omstritt, eftersom det låter som att modellen ser något som inte finns. Tre forskare vid University of Glasgow har föreslagit att det hellre ska kallas skitsnack i filosofisk mening: text som är likgiltig för om den är sann. Andra forskare talar om konfabulering. Vi använder hallucination, eftersom det är det ord de flesta använder.

Varför händer det? Och varför låter ett påhittat svar lika säkert som ett rätt? Forskningen har på senare år gett tre svar som hänger ihop. De handlar om hur en språkmodell skapar text, vad den alls kan lära sig och vad den har belönats för.

En maskin som alltid svarar

En språkmodell har ingen databas med fakta som den slår upp i. Den har tränats på enorma mängder text för att förutsäga nästa ord, och när den svarar skriver den en token i taget, ungefär ett ord eller en del av ett ord. Hur det går till förklarar vi i Hur fungerar en språkmodell? Det som kommer ut är alltid flytande text, oavsett om modellen har lärt sig svaret eller bara gissar. Myndigheten för digital förvaltning, Digg, skriver i sina riktlinjer för offentlig sektor att generativ AI, till skillnad från en människa som kan medge att hon inte vet, tenderar att alltid ge ett svar, även när den är osäker.

Forskare vid OpenAI och Georgia Tech har visat det med ett exempel. De bad språkmodellen DeepSeek-V3 om födelsedagen för en av dem, Adam Tauman Kalai, och skrev att den bara skulle svara om den visste. Vid tre försök fick de tre olika datum, och alla var fel. När de frågade tre populära chattbotar vad Kalais doktorsavhandling hette fick de tre olika titlar, med tre olika lärosäten och årtal. Ingen var rätt.

Figur 1Samma säkra ton

Figuren är interaktiv och behöver JavaScript.

Välj en fråga och tryck på Fråga igen. Visa sedan vad modellen vet. Sannolikheterna är påhittade för att visa principen, men datumen och svaren om bokstäverna kommer från forskarnas försök med riktiga modeller.

Osäkerheten finns alltså, men den syns inte i texten. När sannolikheten är utspridd väljer modellen ändå ett svar och skriver det lika flytande som när den vet. Tydligast syns det hos en grundmodell, en modell som bara har tränats på att fortsätta text och ännu inte på att vara assistent. När forskare på Anthropic körde sin modell Claude 3.5 Haiku på det sättet fortsatte den meningen ”Michael Batkin plays the sport of” med ”pickleball”. Den hade ingen aning om vem Michael Batkin var, men en sådan mening brukar sluta med namnet på en sport.

Felen gäller inte bara fakta. På frågan hur många D som finns i ordet DEEPSEEK svarade DeepSeek-V3 antingen 2 eller 3 vid tio försök. Meta AI och Claude 3.7 Sonnet svarade på liknande sätt, ända upp till 6 och 7. Rätt svar är ett. Modellen läser inte bokstäver utan tokens, och ordet delas upp i bitar som D/EEP/SEE/K. En modell som fick resonera i flera steg, DeepSeek-R1, stavade sig i stället igenom ordet och räknade rätt.

Det man bara har sett en gång

Varför hittar modeller på födelsedagar och boktitlar men felstavar nästan aldrig ett ord? Kalai och hans kolleger visar att det beror på vad som går att lära sig ur text. Grammatik och stavning följer mönster som upprepas miljontals gånger, och dem lär sig modellerna nästan felfritt. En födelsedag följer inget mönster. Den går inte att räkna ut, bara att minnas, och den går bara att minnas om den har stått i texten som modellen tränades på. Därför uppstår felen även om träningsdatan i sig är helt fri från fel.

Forskarna härleder en nedre gräns för hur ofta en grundmodell måste svara fel på sådana frågor. Den beror på hur stor andel av fakta som förekommer exakt en gång i träningsdatan. Om 20 procent av alla födelsedagar bara nämns en gång kan man vänta sig att en grundmodell hittar på minst 20 procent av födelsedagarna.

Idén bygger på ett knep från andra världskriget. Det växte fram när Alan Turing och I. J. Good arbetade med att knäcka tyska chiffer i Bletchley Park: andelen av ett urval som bara har dykt upp en enda gång avslöjar ungefär hur stor del av helheten man ännu inte har sett. Good publicerade metoden 1953. Det är samma Good som beskrev tanken på en intelligensexplosion, som vi skriver om i Kan AI förbättra sig själv?

Figur 2Det man bara har sett en gång

Figuren är interaktiv och behöver JavaScript.

En riktig simulering i din webbläsare. Personerna och texten är påhittade, och modellen är generös: den minns allt den har sett minst en gång och gissar på resten. Dra i reglaget och jämför de två talen, och ställ sedan frågor till modellen.

De två talen följer varandra, hur mycket text modellen än får. I figuren blir alla personer till slut omskrivna. I verkligheten tar svansen av sällsynta fakta aldrig slut: det finns alltid personer, platser och händelser som bara har skrivits om en gång, eller aldrig. Mer data minskar felen, men gör sig inte av med dem.

Provet som belönar gissningar

Statistiken förklarar varför en grundmodell gissar. Men chattbotar tränas vidare, bland annat med RLHF, för att bli hjälpsamma och ärliga. Varför försvinner inte gissandet då? Kalai och kollegerna pekar på hur modellerna bedöms. De flesta test som används för att jämföra AI-modeller, så kallade benchmarks, ger en poäng för rätt svar och noll för fel. Men ”vet inte” ger också noll. Då lönar det sig alltid att gissa.

Det är samma logik som på ett flervalsprov utan minuspoäng: den som gissar på allt får i snitt fler poäng än den som lämnar tomt. Forskarna gick igenom tio av de mest använda testen. Nio av dem gav inget alls för att avstå, och det tionde gav lite. Modellerna optimeras alltså till att bli bra på att skriva prov, som forskarna uttrycker det.

Deras förslag är enkelt: skriv i varje fråga hur fel svar straffas, till exempel ”svara bara om du är mer än 75 procent säker, för ett fel svar ger minus 3 poäng”. Då lönar det sig att svara bara när chansen att ha rätt är större än gränsen. Prova själv.

Figur 3Provet som belönar gissningar

Figuren är interaktiv och behöver JavaScript.

Överst: vad det i snitt ger att gissa, med olika straff för fel svar. Nederst: verkliga resultat från Kalai med fleras studie i Nature 2026, räknade om med det straff du väljer.

Skillnaden syns i verkliga resultat. I studien, som publicerades i Nature i april 2026, fick två modeller från OpenAI svara på 4 326 korta faktafrågor i testet SimpleQA. Modellen o4-mini svarade på nästan allt och hade fel på 76,8 procent av frågorna. Modellen gpt-5-mini avstod från 63,2 procent och hade fel på 20,8 procent. Räknat i rätta svar vann ändå o4-mini, med 20,6 mot 16,0 procent.

Samma mönster syns när modellerna blir kraftfullare. När OpenAI släppte den resonerande modellen o3 våren 2025 visade bolagets eget test att den hittade på svar om personer dubbelt så ofta som föregångaren o1, i 33 mot 16 procent av frågorna. OpenAI förklarade att o3 gör fler påståenden över huvud taget och därmed både fler rätta och fler felaktiga.

Den fortsatta träningen kan också göra modellerna sämre på att veta vad de vet. I OpenAI:s tekniska rapport om GPT-4 från 2023 stämde grundmodellens säkerhet väl med hur ofta den hade rätt. Den var med ett fackord väl kalibrerad. Efter den fortsatta träningen hade kalibreringen blivit betydligt sämre, och det mått som rapporten använder för felet var ungefär tio gånger större.

En spärr som kan slå fel

Vad händer inuti en modell när den hittar på? Forskare på Anthropic har undersökt det i Claude 3.5 Haiku med metoder från forskningen om tolkningsbarhet, som gör det möjligt att följa vilka begrepp i modellen som aktiveras när den svarar. De fann något oväntat. Modellens grundinställning är att inte svara. En grupp funktioner som ungefär betyder ”kan inte svara” är aktiv från början, och den stängs av först när modellen känner igen det som frågan gäller, till exempel ett känt namn.

Hallucinationer kan uppstå när spärren släpper fast den inte borde. Enligt forskarna händer det när ett namn känns bekant men modellen inte vet något mer om personen. De kunde också framkalla felet själva genom att förstärka funktionerna för kända namn.

Figur 4Känner modellen igen namnet?

Figuren är interaktiv och behöver JavaScript.

En förenklad bild av vad Anthropics forskare fann i Claude 3.5 Haiku. Frågorna och svaren är modellens egna, översatta till svenska. Välj ett exempel och se vilka delar som är aktiva.

Fynden gäller en enda, mindre modell, och forskarna skriver att de bara fångar en del av bilden. Men de stämmer med vad andra har sett utifrån. I testet HalluHard från februari 2026 avstod modellerna för det mesta när de fick frågor om helt påhittade saker, men hittade på betydligt oftare om verkliga men sällan omskrivna saker, som sällan citerade forskningsartiklar och konstverk på lokala gallerier. Det farliga är alltså inte det helt okända utan det halvbekanta.

Går det att få bort?

Teoretiskt finns olika svar. Forskare har bevisat att en språkmodell som används för att lösa vilka problem som helst oundvikligen kommer att hallucinera ibland, eftersom ingen sådan modell kan lära sig allt. Kalai och kollegerna skriver däremot att hallucinationer bara är oundvikliga för grundmodeller. En modell som får och vågar säga ”vet inte” behöver inte gissa.

I praktiken minskar flera metoder felen, men ingen tar bort dem. Den vanligaste är att låta modellen söka i källor innan den svarar, så kallad RAG. När forskare vid Stanford 2024 ställde frågor om amerikanska domstolsavgöranden till vanliga chattbotar hittade de på i mellan 58 och 88 procent av fallen. Juridiska AI-verktyg som söker i databaser med rättsfall gjorde det mer sällan, men ändå i mellan 17 och 33 procent av fallen. I HalluHard hallucinerade den bästa uppställningen, Claude Opus 4.5 med webbsökning, i ungefär 30 procent av fallen. Utan sökning var det ungefär 60 procent.

Sökningen har egna svagheter. När Tow Center vid Columbia University 2025 bad åtta AI-sökmotorer ta reda på vilken nyhetsartikel ett citat kom från svarade de fel på mer än 60 procent av frågorna, oftast utan att tveka. ChatGPT:s sökfunktion pekade ut fel artikel i 134 fall av 200, uttryckte osäkerhet bara 15 gånger och avstod aldrig från att svara.

Samma sak gäller nyheter. Hösten 2025 publicerade 22 public service-bolag i 18 länder, däribland SVT, den största undersökningen hittills av hur AI-assistenter återger nyheter. Journalister granskade över 3 000 svar från ChatGPT, Copilot, Gemini och Perplexity. 45 procent innehöll minst ett allvarligt fel, och vart femte hade stora faktafel, bland annat påhittade detaljer och inaktuella uppgifter. När finländska Yle testade på svenska i maj 2025 svarade ChatGPT att påve Franciskus var den katolska kyrkans ledare, fast han hade dött månaden innan.

Det finns tecken på förbättring. När analysföretaget Artificial Analysis lanserade testet AA-Omniscience i november 2025, där ett fel svar kostar lika mycket som ett rätt ger, hade bara tre av 36 modeller fler rätta svar än felaktiga. En modell som aldrig svarade hade kommit på fjärde plats. I testets nya version, i november 2026, gissar en del modeller sällan. Av de frågor som Googles Gemini 4 Carbon och Gemini 4 Argon inte kunde besvara korrekt svarade de fel på bara 4 procent. I stället avstod de för det mesta. OpenAI uppger att dess GPT-6 Sol från september 2026 gör ungefär hälften så många fel som föregångaren, i ett test byggt på samtal där användare har rapporterat fel.

Men utvecklingen går inte bara åt ett håll. Anthropics Claude Opus 5 från juli 2026 fick bättre resultat än sin föregångare i AA-Omniscience, men svarade också oftare när den var osäker, och andelen hallucinationer steg med 14 procentenheter till 50 procent. Fler rätta svar köps ofta med fler gissningar.

Ett sätt att avslöja gissningar bygger på att en modell som gissar ofta svarar olika varje gång. Forskare vid Oxford visade 2024 i Nature att man kan ställa samma fråga flera gånger, sortera svaren efter vad de betyder och mäta hur mycket de spretar. Måttet kallas semantisk entropi, och det avslöjade påhittade svar bättre än de andra metoder som forskarna jämförde med. Metoden behöver inget facit. Men den har en begränsning som syns i figuren.

Figur 5Fråga tio gånger

Figuren är interaktiv och behöver JavaScript.

Svaren är exempel som vi har skrivit för att visa metoden. Frågan om sotorasib kommer från studien, där en modell ibland svarade rätt och ibland fel, men fördelningen här är påhittad. Spridningen räknas som entropi i bitar.

Metoden fångar alltså inte fel som modellen gör konsekvent, till exempel myter som den har lärt sig, och forskarna påpekar själva att den inte hjälper när modellen har fel på ett systematiskt sätt. Kalai och kollegerna prövade en enklare variant i sin studie i Nature: låt modellen svara två gånger och avstå om svaren skiljer sig åt. Det minskade felen men också antalet rätta svar. I ett vanligt test, där bara rätta svar räknas, ser modellen därför sämre ut. Det är samma problem som i figur 3.

Modeller kan dessutom lära sig fel av det de läser. Våren 2026 visade AI-forskaren Almira Osmanovic Thunström vid Chalmers och Göteborgs universitet hur en påhittad sjukdom från en uppenbart falsk studie på två månader spreds till stora AI-chattbottar, som återgav den som trovärdig. En sådan modell svarar lika säkert varje gång, och då slår ingen spridning larm.

Så skyddar du dig

Hallucinationer går inte att få bort helt i dag, men de går ofta att upptäcka. Forskningen ger några tumregler:

  • Var mest vaksam på det sällsynta. Namn, datum, siffror, citat, rättsfall och källhänvisningar är det som oftast hittas på, särskilt när de gäller saker som sällan skrivs om.
  • Kontrollera källan, inte bara att den finns. Öppna länken eller sök upp domen. En hänvisning kan leda till något verkligt som ändå inte säger det som svaret påstår.
  • Fråga igen. Ställ samma fråga i en ny konversation. Om svaren skiljer sig åt i sak är det en varningssignal.
  • Ge lov att säga vet inte. Skriv att ”jag vet inte” är ett bra svar om modellen är osäker. Det hjälper, men en modell kan också vara säker och fel.
  • Låt den söka, men läs själv. Svar med sökning är oftare rätt, men även de kan citera fel eller hänvisa till sidor som inte finns.
  • Ju viktigare beslut, desto mer kontroll. I juridik, vård och ekonomi är en text från AI ett utkast, inte ett facit.

Vår syn

Det här avsnittet är SI-bolagets åsikt. Resten av artikeln redovisar forskningen. Här säger vi vad vi själva tror.

Att AI hittar på är inte bara ett tekniskt problem. Det är en fråga om förtroende. Ju mer vi låter AI skriva underlag, sammanfatta forskning och svara på frågor, desto viktigare blir det att vi vet när den vet, och när den gissar.

Forskningen i den här artikeln är på ett sätt hoppfull. Hallucinationer är inte ett mysterium. De har orsaker som går att förstå, och delvis åtgärda. Därför tycker vi:

  • Ödmjukhet. En AI som säger ”jag vet inte” är inte sämre, den är ärligare. Vi vill hellre ha modeller som ibland avstår än modeller som alltid svarar.
  • Öppenhet. AI-bolagen bör redovisa hur ofta deras modeller svarar fel och hur ofta de avstår, inte bara hur ofta de svarar rätt. Topplistor som bara räknar rätta svar belönar gissningar.
  • Människan i centrum. Ansvaret för det som lämnas in till en domstol, publiceras eller ligger till grund för ett beslut ska ligga hos en människa som har kontrollerat det.

Ju kraftfullare AI blir, desto viktigare blir det att den vet var gränsen för dess kunskap går, och säger det.

Källor

  1. United States District Court, Southern District of New York, Mata v. Avianca, Inc., Opinion and Order on Sanctions, 22 juni 2023.
  2. Damien Charlotin, AI Hallucination Cases Database, uppdaterad 12 november 2026, och antalet i maj 2025 enligt The Volokh Conspiracy.
  3. Eskilstuna tingsrätts dom enligt Realtid, 13 januari 2026, och Dagens PS, 9 januari 2026.
  4. Stockholms tingsrätt, Verksamhetsberättelse 2025, 2026.
  5. Civil Resolution Tribunal, British Columbia, Moffatt v. Air Canada, 2024 BCCRT 149, 14 februari 2024.
  6. Deloittes rapport till Australiens arbetsmarknadsdepartement enligt The Register, 6 oktober 2025.
  7. South African Government News Agency, Minister announces withdrawal of draft AI Policy, 26 april 2026.
  8. Topaz m.fl., Fabricated citations: an audit across 2·5 million biomedical papers, The Lancet 407, 2026, enligt University of Eastern Finland.
  9. University of Cambridge, Cambridge Dictionary names ‘hallucinate’ Word of the Year 2023, november 2023.
  10. Hicks, Humphries och Slater, ChatGPT is bullshit, Ethics and Information Technology 26, 2024.
  11. Myndigheten för digital förvaltning, Riktlinjer för generativ AI: Bedöm riskerna med användningen och säkerställ lämplig säkerhet, 2025.
  12. Kalai, Nachum, Vempala och Zhang, Why Language Models Hallucinate, OpenAI och Georgia Tech, 2025.
  13. Kalai, Nachum, Vempala och Zhang, Evaluating large language models for accuracy incentivizes hallucinations, Nature 653, 2026.
  14. Adam Tauman Kalai och Santosh Vempala, Calibrated Language Models Must Hallucinate, STOC 2024.
  15. William A. Gale och Geoffrey Sampson, Good-Turing Frequency Estimation Without Tears, Journal of Quantitative Linguistics 2, 1995 (om Turings och Goods arbete i Bletchley Park), och I. J. Good, The population frequencies of species and the estimation of population parameters, Biometrika 40, 1953.
  16. OpenAI, GPT-4 Technical Report, 2023.
  17. OpenAI:s systemkort för o3 och o4-mini, april 2025, enligt Simon Willison och TechCrunch.
  18. Lindsey m.fl., On the Biology of a Large Language Model, Anthropic, 2025, och Tracing the thoughts of a large language model, mars 2025.
  19. Fan, Delsad, Flammarion och Andriushchenko, HalluHard, 2026, och sammanfattningen i The Decoder, februari 2026.
  20. Xu, Jain och Kankanhalli, Hallucination is Inevitable: An Innate Limitation of Large Language Models, 2024.
  21. Dahl, Magesh, Suzgun och Ho, Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models, Journal of Legal Analysis 16, 2024.
  22. Magesh m.fl., Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, Stanford, 2024.
  23. Klaudia Jaźwińska och Aisvarya Chandrasekar, AI Search Has a Citation Problem, Tow Center, Columbia Journalism Review, mars 2025.
  24. EBU och BBC, News Integrity in AI Assistants, oktober 2025, och sammanfattningen från BBC; SVT:s medverkan enligt Sveriges Radio och Yles test på svenska enligt Svenska Yle.
  25. Jackson m.fl., AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models, Artificial Analysis, 2025, och resultaten för version 1.1, läst 14 november 2026.
  26. GPT-6 Sol enligt TechCrunch, 22 september 2026, och Claude Opus 5 enligt The Decoder, 25 juli 2026.
  27. Farquhar, Kossen, Kuhn och Gal, Detecting hallucinations in large language models using semantic entropy, Nature 630, 2024.
  28. Sveriges Radio, AI spred falsk sjukdom: experimentet avbröts av forskare, P1 Morgon, 23 april 2026.
  29. NASA, China’s Wall Less Great in View from Space, 2005.

Begrepp i artikeln

Så gör vi: Artiklarna skrivs med hjälp av AI, och varje faktauppgift kontrolleras mot källorna i listan ovan. Hittar du ett fel? Skriv till hej@sibolaget.se.

Fler frågor?

Ny på AI? Börja med Vad är AI? Ordlistan förklarar begreppen, och på startsidan finns raka svar på de vanligaste frågorna. Saknar du något? Skriv till oss.