Hallusinasjon

Hva er hallusinasjon?

En språkmodell er laget for å skrive noe som høres riktig ut. Som regel er det også riktig, men når den mangler informasjon, stopper den ikke opp for å spørre.

Da fyller den hullet med noe som passer inn, som en pris, en dato eller en regel som høres rimelig ut.

Det er dette vi kaller hallusinasjon, og det er den vanligste feilen bedrifter møter når de tar i bruk AI.

Modellen lyver ikke, for den vet ikke selv at svaret er feil. Det er det som gjør det vanskelig: et oppdiktet svar kan se like troverdig ut som et riktig svar.

Hvorfor er dette viktig for bedriften din?

Tenk deg at en chatbot forteller en kunde at dere har gratis retur.

Da har den gitt et løfte på dine vegne, et løfte som kan koste deg tillit selv om det ikke stemmer. Derfor er hallusinasjon noe av det viktigste du bør ha kontroll på før du lar en AI snakke med kundene dine.

Det gjelder særlig det kunden husker lengst, som priser, leveringsdatoer og hva dere faktisk kan love. Et feilsvar der koster mer enn et feilsvar om åpningstidene deres.

Slik hindrer du det

Fire grep kan redusere hallusinasjon kraftig, og de fleste bedrifter trenger ikke mer enn det.

1. Gi modellen kildene dine gjennom RAG, som betyr at den slår opp i dokumentene dine før den svarer, og det fjerner de fleste feilene alene.
2. Be den si «vet ikke» når den er usikker, for en god løsning har en klar regel om at den sier fra og sender kunden videre hvis svaret ikke står i kildene.
3. Sperr det som er dyrt å love, som priser, leveringsdatoer og juridiske svar, slik at modellen kan henvise videre i stedet for å svare selv.
4. Les samtalene jevnlig, for ingen chatbot er ferdig ved levering, og det er i de første ukene du finner hullene og retter kildene.

En enkel test du kan gjøre selv

Spør chatboten om noe som ikke finnes.

Spør for eksempel «hva koster den blå varianten?» når dere ikke har en blå variant. Svarer den «vi har ingen blå variant», er den godt satt opp.

Svarer den i stedet med en pris, kan det bety at dere har en jobb å gjøre. Det er verdt fem minutter å sjekke, før en kunde finner det selv.

Gjenta testen på noen av de vanligste spørsmålene dere får, ikke bare på det som er åpenbart feil. Det er der de dyre feilene gjerne gjemmer seg.

Er du usikker på hvordan chatboten deres er satt opp, kan du ta en prat med en ekspert.