Kan man køre sin egen AI uden at sende data til USA?

Tre måder at køre AI på

Den midterste kolonne overses tit. Flere europæiske udbydere kører åbne modeller i egne datacentre og tilbyder det samme som de amerikanske tjenester: I sender et spørgsmål, får et svar, betaler pr. brug. Forskellen er, hvem der sidder på serveren, og under hvilken lovgivning. For de fleste virksomheder uden særligt følsomme data er det et godt kompromis mellem besvær og kontrol.

Hvad "åben model" betyder, og hvad det ikke betyder

En åben model er en fil. Den er trænet af et firma eller en forskergruppe og lagt ud, så andre kan hente den og køre den. Når den kører på jeres server, ringer den ikke hjem. Den har ingen forbindelse til den, der lavede den, og den sender ikke jeres spørgsmål nogen steder hen. Det er hele pointen.

"Åben" betyder ikke gratis. Modellen koster ikke noget, men serveren gør, og det samme gør den, der holder den kørende. "Åben" betyder heller ikke lille: de bedste åbne modeller er på niveau med de amerikanske tjenester fra et år eller to tilbage, og til opgaver som opslag i dokumenter, sortering af henvendelser og udkast til svar er det mere end nok. Det, de er dårligere til, er de sværeste opgaver: lange ræsonnementer, kompliceret kode, de nyeste sprog.

Et eksempel: en producent med 20 års tegninger

Tag en virksomhed, der producerer specialmaskiner og har gjort det i 20 år. Arkivet rummer tegninger, servicerapporter, reklamationssager og mails fra kunder. Det er virksomhedens egentlige værdi, og ledelsen har én regel: det forlader ikke huset. Samtidig bruger serviceteknikerne en halv time pr. opgave på at finde den rigtige tegning og de seneste rapporter om en maskine, før de kører ud.

Løsningen er et opslagsværktøj, der svarer ud fra arkivet, og som kører på en server, virksomheden lejer i et datacenter i Danmark. Modellen er åben og er valgt, fordi den læser dansk og teknisk engelsk godt nok og kan køre på ét grafikkort. Teknikeren skriver "hvad blev der lavet på maskine 2214 sidste gang, og hvilken tegning gælder for hydraulikken", og får svaret med links til rapporten og tegningen. Intet af det har været uden for datacentret.

1. Vælg modellen efter opgaven

   Modellen skal kunne læse dansk, forstå teknisk sprog og køre på den server, I har råd til. Vi tester tre kandidater på 30 rigtige spørgsmål fra arkivet, før vi vælger.

2. Lej, før I køber

   Et grafikkort i et datacenter lejes pr. måned. Det er den rigtige start; en server i eget hus giver først mening, når brugen er kendt.

3. Byg opslaget, ikke bare chatten

   Værdien ligger i, at modellen slår op i tegninger og rapporter og viser kilden. En åben model uden opslag er bare en chat uden adgang til noget.

4. Overvåg som ethvert andet system

   Serveren skal opdateres, modellen skal kunne skiftes ud, og nogen skal kunne se, om den svarer langsomt. Det er almindelig drift, og den skal have en ejer.

Hvad GDPR faktisk kræver

GDPR forbyder ikke at bruge en amerikansk AI-tjeneste. Den stiller krav: der skal være en databehandleraftale, et lovligt grundlag for behandlingen, og hvis data sendes ud af EU, skal overførslen være sikret efter reglerne. Reglerne for overførsel til USA har skiftet flere gange de senere år, og det er en risiko i sig selv for en lille virksomhed, der ikke har en jurist til at følge med.

Med patientdata, personalesager og andre særligt følsomme oplysninger er kravene strengere, og de fleste vælger at holde dem i EU eller i eget hus, ikke fordi loven altid kræver det, men fordi det er den eneste løsning, der er let at forklare. Selvhostet AI gør overførselsspørgsmålet til et ikke-spørgsmål. Det er ofte den største gevinst.

Hvad selvhostet AI er godt til, og hvad det ikke er

Typiske misforståelser

Hvad vi ville fraråde

Vi ville fraråde at selvhoste, fordi det lyder rigtigt, hvis der ikke er følsomme data i opgaven; så betaler I for drift uden at få noget for det. Og vi ville fraråde det modsatte: at sende patientdata eller personalesager til en almindelig chattjeneste, fordi det er nemt. Det er den ene ting, vi ser oftest, og den ene ting, der er sværest at forklare bagefter.