Hvorfor finder AI nogle gange på ting, og hvad gør man ved det?

Hvorfor sker det?

En sprogmodel er trænet til én ting: at fortsætte en tekst på den måde, der ligner alt det, den har læst, mest. Den har ikke en liste over, hvad der er sandt. Den har et meget præcist billede af, hvordan sande sætninger plejer at se ud. For det meste er de to ting det samme. En sætning om, at Danmark har fem regioner, ligner de sætninger, den har set, og er også rigtig.

Problemet kommer, når spørgsmålet handler om noget, modellen aldrig har set: jeres priser, jeres instruks, en kunde, et varenummer. Så findes der ikke et rigtigt svar i det, den har læst, og den skriver alligevel det, der ligner et rigtigt svar mest. Den gør det i samme tone og med samme sikkerhed. Det er dét, der gør det farligt: man kan ikke høre forskel.

Det bliver værre af tre ting: når spørgsmålet lægger op til et bestemt svar ("hvor meget rabat giver vi normalt?" forudsætter, at der findes en normal rabat), når modellen ikke har lov til at sige nej, og når svaret skal være langt. Jo længere teksten er, jo flere steder kan den skride.

Et eksempel: det samme spørgsmål, to opsætninger

En farmakonom spørger: "Må vi substituere præparat X med Y, når X er i restordre?" Stiller hun spørgsmålet til en almindelig chattjeneste, får hun et velformuleret svar om substitutionsregler i almindelighed, måske med en henvisning til en regel, der lyder rigtig. Om den gælder for netop de to præparater, og om apotekets egen instruks siger noget andet, ved tjenesten ikke. Den skriver alligevel.

Stiller hun det samme spørgsmål til et værktøj, der er bygget til apoteket, sker der noget andet. Værktøjet slår først op i apotekets instrukser og i substitutionslisten. Finder det et afsnit, der svarer, skriver det svaret ud fra netop det afsnit og viser, hvor det står. Finder det ikke noget, siger det: "Instrukserne nævner ikke substitution mellem X og Y. Spørg apotekeren." Det andet svar er kortere og mindre imponerende. Det er også det eneste, man kan handle på.

Sådan bygger man en løsning, der ikke digter

Det første trin undervurderes. Et værktøj, der må svare på alt, vil hallucinere, fordi det bliver spurgt om alt. Et værktøj, der kun må svare om leveringstider, og som får sine leveringstider fra ordresystemet, har ikke meget at digte med. Afgrænsningen er ikke en begrænsning, I accepterer. Den er den vigtigste sikkerhed, I bygger ind.

Testsamlingen er det andet, der undervurderes. Tredive rigtige spørgsmål fra hverdagen, hver med et facit, som en fagperson har godkendt. Den køres, før værktøjet tages i brug, og igen hver gang modellen, dokumenterne eller reglerne ændres. Uden den ved I ikke, om værktøjet blev bedre eller værre af sidste ændring. Med den tager det et kvarter at finde ud af.

Hvad der hjælper, og hvad der ikke gør

Hvad det kræver hos jer

• Dokumenter eller data, som svarene kan bygge på. Findes de ikke, kan værktøjet kun gætte, og så skal det ikke bygges endnu.
• En fagperson, der kan godkende facit til testsamlingen og dømme, når et svar er forkert.
• En beslutning om, hvad værktøjet ikke må svare på, truffet før det bygges.
• Vilje til at acceptere "det ved jeg ikke" som et godt svar. Det er det, der gør de andre svar troværdige.

Typiske misforståelser

Hvad vi ville fraråde

Vi ville fraråde at bruge en almindelig chattjeneste til spørgsmål om jeres egne regler, priser eller kunder, uanset hvor gode svarene ser ud. Den har ikke set jeres data, så den gætter. Og vi ville fraråde at tage et værktøj i brug uden en testsamling. Det er den eneste måde at vide, om det virker, og den eneste måde at opdage, hvis det holder op med det.