Hallucinationer: vad de är och hur ni håller dem i schack

Assistenten var imponerande på demon. Någon frågade om företagets policy för föräldraledighet, och den svarade utförligt och vänligt: sex månader med full lön, plus en extra vecka för den som börjat före 2020.

Det lät rimligt. HR-chefen, som satt i rummet, blev mycket intresserad. Det var helt påhittat. Företaget har ingen sådan policy. Assistenten hade aldrig sett något dokument om föräldraledighet, men den visste hur ett svar på en sådan fråga brukar låta, och skrev ett.

Det kallas en hallucination. Det är det som får många team att tveka mest, och det är förståeligt. Men det är också ett av de mest hanterbara problemen, om man vet var de kommer ifrån.

Vad är en AI-hallucination?

En hallucination är ett svar som låter säkert men är påhittat eller fel. Det kan vara en policy som inte finns, en paragraf som aldrig skrivits, ett produktnamn som är nästan rätt eller en källa som inte existerar.

Det beror på hur språkmodeller fungerar. De slår inte upp fakta i en databas. De skriver den text som är mest sannolik att komma härnäst, utifrån allt de har läst. För det mesta blir det rätt. Men när modellen saknar rätt information skriver den ändå något som låter som ett svar, eftersom det är det den är byggd för.

Det viktiga att förstå: modellen ljuger inte, och den vet inte att den har fel. Den fyller i luckor, ungefär som en middagsgäst som inte vill erkänna att den inte har läst boken alla pratar om. Därför handlar det mesta om att ta bort luckorna.

När hallucinerar AI som mest?

Det finns ett tydligt mönster. Hallucinationer blir vanligare när:

• Modellen saknar underlag. Den ska svara om er verksamhet men har inte fått era dokument.
• Frågan ligger precis utanför underlaget. Den har fått returpolicyn men får en fråga om reklamationer.
• Den uppmuntras att alltid svara. En prompt som säger ”var hjälpsam” utan att säga ”säg till om du inte vet” får fler gissningar.
• Frågan gäller detaljer: siffror, datum, namn, paragrafer. Där är ”nästan rätt” lika med fel.

Hur minskar man hallucinationer?

Fem sätt, i den ordning de gör mest nytta.

1. Ge modellen rätt underlag

Det absolut viktigaste. Om assistenten ska svara om era policyer ska den få läsa dem, varje gång. Tekniken kallas ofta RAG, som står för retrieval-augmented generation: systemet hämtar de relevanta delarna av era dokument och lägger dem i prompten innan modellen svarar.

En modell som har policyn framför sig hittar sällan på. En modell som ska minnas den, gör det oftare.

2. Säg att den ska hålla sig till underlaget

Skriv det tydligt i prompten: svara bara utifrån dokumenten nedan, och om svaret inte finns där, säg det. Det låter självklart, men utan den instruktionen fyller modellen gärna i med sin allmänna kunskap.

3. Låt den säga ”jag vet inte”

Ett bra ”jag vet inte, men jag kan koppla dig till en kollega” är ett lyckat svar. Gör det till ett uttalat mål, och testa det: ta med frågor i er testlista som assistenten inte ska kunna svara på, och kontrollera att den säger det. Det är den enskilt bästa testen mot hallucinationer.

4. Be om källhänvisningar och kontrollera dem

Be modellen hänvisa till vilket dokument varje påstående kommer från. Kontrollera sedan automatiskt att hänvisningarna pekar på dokument den faktiskt fick. En hänvisning till ett dokument som inte fanns i underlaget är ett säkert tecken på att något är påhittat.

5. Låt en människa granska det känsliga

För svar om pengar, avtal, hälsa eller juridik: låt en människa titta innan svaret går ut. Det tar inte bort hallucinationerna, men det gör dem ofarliga. Mer om det i När AI:n har fel.

Hur testar man om AI:n hallucinerar?

Med frågor där rätt svar är att inte veta. Ta med tio sådana i er testlista:

• Frågor om saker som inte finns i underlaget alls.
• Frågor som ligger nära underlaget men utanför det.
• Frågor med en felaktig premiss, som ”hur många veckors extra semester får man efter fem år?” när det inte finns någon sådan regel.

Ett bra svar på alla tre typer är någon variant av ”det vet jag inte” eller ”det stämmer inte, enligt policyn gäller …”. Hur ni sätter upp testerna beskrivs i Ert första test av AI-svaren.

Går det att få bort dem helt?

Nej, inte helt. Men målet är inte noll, det är sällsynt och ofarligt. Med rätt underlag, en instruktion att hålla sig till det, kontrollerade källhänvisningar och en människa som ser de känsliga svaren, blir hallucinationer ett hanterbart problem, ungefär som stavfel i mejl från en ny medarbetare. De förekommer, de fångas och de blir färre.

Det är också därför ribban är så viktig. Bestäm vad som är acceptabelt, som i Hur bra är bra nog?, så vet ni när ni är där.

Hur man bygger sökningen i era dokument och kontrollerar källhänvisningar automatiskt beskrivs tekniskt i Retrieval that holds up på engelska.