Gennemsigtighed og AI: Undgå Black-Box problematikken og overhold informationspligten

Din kundeservicechatbot har netop afvist en kundes reklamation. Kunden spørger hvorfor, og din medarbejder kan kun svare: "Det besluttede systemet."

Ingen forklaring, ingen begrundelse, ingen mulighed for at gøre det om. Det scenarie er ikke bare dårlig service. Det er et juridisk problem, der vokser i takt med at flere organisationer bruger AI til beslutninger, der påvirker mennesker. Denne artikel giver dig en praktisk forståelse af, hvornår du har pligt til at oplyse om AI, hvad Black-Box-problematikken egentlig betyder, og hvordan du sikrer, at et menneske altid kan gribe ind.

Artiklen er del af vores komplette guide til AI, jura og compliance. For en dybere forståelse af hvordan EU's AI-lovgivning rammer specifikt danske virksomheder og fundamentet for jeres planlægning, har vi en dedikeret ressource.

Indholdsfortegnelse

• Hvornår skal vi oplyse, at man taler med en AI?
• Hvad er Black-Box-problematikken?
• Hvad er retten til menneskelig indgriben?

Hvornår skal vi oplyse, at man taler med en AI?

Næsten altid. Men her er det konkrete billede.

GDPR kræver allerede, at du oplyser personer, hvis du bruger automatiseret beslutningstagning med retslig eller lignende betydelig virkning for dem. Det gælder fx automatisk afvisning af en låneansøgning, sortering af jobansøgere eller kreditvurdering.

EU's AI Act tilføjer et ekstra lag: Alle AI-systemer, der interagerer direkte med mennesker, skal tydeligt oplyse, at der er tale om en AI. Det gælder chatbots, AI-genererede tekster og syntetisk lyd eller video. Undtagelsen er, hvis det er åbenlyst for brugeren. Men "åbenlyst" er et højt krav. Antag aldrig, at folk kan gennemskue det. Har I brug for en guide til EU's AI Act, har vi samlet de vigtigste punkter for danske virksomheder.

Rent praktisk betyder det tre ting for din organisation:

1. Chatbots og digitale assistenter skal have en tydelig markering. Ikke gemt i en footer, men synligt i selve dialogen.
2. Automatiserede beslutninger om mennesker (ansøgere, kunder, borgere) kræver, at du oplyser om det og forklarer logikken bag.
3. AI-genereret indhold, der udgives eksternt, skal markeres som AI-genereret, medmindre det er redigeret substantielt af et menneske.

Sådan ser det ud i praksis: tre scenarier

Scenarie 1: Kundeservicechatbot i en webshop
Din chatbot hedder "Mia" og besvarer spørgsmål om levering og returret. Korrekt oplysningspligt: Første besked i chatten lyder: "Hej, jeg er Mia – en AI-assistent. Jeg hjælper dig med spørgsmål om din ordre. Vil du tale med en medarbejder, kan du skrive 'menneske' når som helst." Forkert: En avatar med et menneskenavn og ingen markering af, at det er et automatiseret system.

Scenarie 2: Automatisk screening af jobansøgninger
Et AI-system rangerer 400 ansøgninger og sender afvisninger til de 350 nederst. Korrekt oplysningspligt: Afvisningsmailen indeholder en sætning som: "Din ansøgning er indledningsvis vurderet ved hjælp af et automatiseret screeningsværktøj. Du har ret til at anmode om en menneskelig gennemgang." Forkert: En standardafvisning uden oplysning om, at beslutningen er truffet automatisk.

Scenarie 3: AI-genereret nyhedsbrev til kunder
Marketingteamet bruger AI til at skrive et månedligt nyhedsbrev, som ingen redigerer. Korrekt oplysningspligt: Brevet markeres med "Dette indhold er genereret med AI-assistance." Forkert: Brevet udgives som redaktionelt indhold uden markering.

En kundeservicechef med 15 medarbejdere, der svarer på de samme 50 spørgsmål, vil ofte overveje en chatbot. Det er en god idé. Men den chatbot skal præsentere sig som en AI fra første besked. Og den skal kunne eskalere til et menneske, når beslutningen har konsekvenser for kunden.

Vil du forstå hvilke systemer der falder i hvilken risikokategori, har vi en separat guide til risikoklassificering. For en strategisk tilgang til compliance og EU AI Act har vi desuden udarbejdet et roadmap for virksomhedsledere.

Hvad er Black-Box-problematikken?

Forestil dig, at du ansætter en ny medarbejder. Du giver hende en bunke CV'er og beder hende sortere dem. Hun kommer tilbage med en rangliste. Du spørger: "Hvorfor er kandidat 7 nederst?" Hun svarer: "Det ved jeg ikke. Jeg kan bare mærke det." Den medarbejder ville du ikke stole på.

Men det er præcis sådan mange AI-systemer fungerer. De tager data ind, laver beregninger i tusindvis af lag, og spytter et resultat ud. Ingen, heller ikke dem der byggede systemet, kan altid forklare præcis, hvorfor resultatet blev, som det blev. Det er Black-Box-problematikken: et system, hvor input og output er synligt, men processen imellem er uigennemsigtig.

Hvad det konkret betyder for din organisation

Tag HR-chefen i en mellemstor virksomhed i Odense, der modtager 400 ansøgninger til 12 stillinger og bruger et AI-screeningværktøj. Systemet er trænet på data fra virksomhedens hidtidige ansættelser. Problemet: Hvis virksomheden historisk har ansat primært mænd i tekniske roller, vil systemet lære at favorisere mandlige kandidater. Det sker ikke fordi nogen har bedt om det. Det sker fordi mønstre i historisk data reproduceres som fremtidige anbefalinger.

Resultatet er algoritmisk bias: systematisk skævhed, der diskriminerer uden at nogen har besluttet det. Og fordi processen er uigennemsigtig, opdages det typisk ikke, før en afvist kandidat klager, eller en journalist graver i tallene.

Det er her, gennemsigtighed og algoritmisk bias hænger uløseligt sammen. Kan du ikke forklare beslutningen, kan du heller ikke opdage skævheden.

Hvad loven kræver

GDPR's artikel 22 giver allerede registrerede personer ret til "meningsfuld information om den bagvedliggende logik" ved automatiserede beslutninger. EU's AI Act skærper dette yderligere for højrisikosystemer og kræver, at output kan fortolkes af de mennesker, der har tilsynsansvaret.

Det betyder ikke, at du skal forstå hver eneste beregning i modellen. Tænk på det som forskellen mellem at vide, hvordan en motor virker, og at kunne aflæse instrumentbrættet. Du behøver instrumentbrættet. Konkret skal du kunne besvare tre spørgsmål om ethvert AI-system, der træffer beslutninger om mennesker:

• Hvilke faktorer vejede tungest? Fx: "Systemet vægtede erhvervserfaring inden for branchen dobbelt så højt som uddannelse."
• Hvor sikker er systemet på sit resultat? Fx: "Systemet angav en konfidensværdi på 62% for denne kandidat, hvilket er under vores tærskel på 80%."
• Hvilke data baserede det sig på? Fx: "Systemet analyserede CV-tekst og LinkedIn-profil. Det havde ikke adgang til ansøgningsbrevet."

Kan du ikke besvare disse spørgsmål om et system, I bruger, har I et Black-Box-problem. Og I kan ikke opfylde jeres oplysningspligt over for de personer, systemet træffer beslutninger om.

Et konkret eksempel på meningsfuld forklaring

En afvist låneansøger kontakter banken og spørger, hvorfor hans ansøgning blev afvist. Svaret må ikke være: "Vores system vurderede, at du ikke opfylder kravene."

Et svar, der opfylder kravet om meningsfuld information, kan lyde: "Vores kreditvurderingssystem identificerede tre faktorer, der samlet set lå under vores tærskelværdi: din gældskvote i forhold til indkomst (47%), en kortere kredithistorik end 24 måneder, og to betalingsanmærkninger inden for de seneste 36 måneder. Du har ret til at anmode om en manuel gennemgang af din sag."

Det er ikke en fuld teknisk forklaring. Det er instrumentbrættet: de faktorer, der talte, og hvad du kan gøre ved det.

Hvad er retten til menneskelig indgriben?

"Human-in-the-Loop" lyder som endnu et buzzword. Men princippet er simpelt: Før en AI-beslutning får konsekvenser for et menneske, skal et menneske have set på den og haft reel mulighed for at ændre den.

Nøgleordet er "reel mulighed." Det er ikke nok, at en medarbejder teknisk set kan klikke "godkend" eller "afvis", hvis hun i praksis bare klikker godkend på alt, fordi hun behandler 200 sager om dagen og stoler blindt på systemet. Det kalder man "rubber-stamping," og det opfylder hverken ånden eller bogstavet i lovgivningen.

Reel menneskelig indgriben kræver tre ting:

1. Forståelse. Medarbejderen skal kunne forstå, hvad AI-systemet anbefaler og på hvilket grundlag.
2. Kompetence. Medarbejderen skal have faglig viden til at vurdere, om anbefalingen giver mening.
3. Mandat. Medarbejderen skal have tid, autoritet og reel mulighed for at tilsidesætte systemet uden negative konsekvenser.

Hvad rubber-stamping ser ud i praksis

En sagsbehandler i en forsikringsvirksomhed behandler 180 skadessager om dagen. Et AI-system har allerede vurderet hver sag og givet en anbefaling: udbetal, afvis, eller send til manuel undersøgelse. Sagsbehandlerens opgave er formelt set at godkende anbefalingen. I realiteten bruger hun 45 sekunder på hver sag, læser AI-systemets anbefaling og klikker godkend. Hun har aldrig afvist en AI-anbefaling.

Det er rubber-stamping. Lovgivningen kræver, at hun reelt kan vurdere anbefalingen. Det forudsætter, at hun har tid til at læse grundlaget, forstår hvad systemet har vægtet, og ved, at det er acceptabelt at sige fra uden at skulle retfærdiggøre det over for sin leder.

Ingen af de betingelser er opfyldt her. Og det er virksomhedens ansvar, ikke sagsbehandlerens.

Sådan implementerer du Human-in-the-Loop i praksis

Stop med at tænke på det som et teknisk projekt. Det er en organisatorisk beslutning. Her er fire konkrete skridt:

Kortlæg beslutningspunkterne. Gå jeres AI-systemer igennem og identificér, hvor de træffer eller anbefaler beslutninger, der påvirker mennesker. Ansættelser, kundeafvisninger, kreditvurderinger, sagsprioritering. Lav en liste med to kolonner: systemet og den beslutning det træffer.

Definér eskaleringsregler. For hvert beslutningspunkt: Hvornår skal et menneske altid involveres? Sæt tærskler med tal. Fx:

• "Hvis AI-systemets konfidensniveau er under 80%, går sagen automatisk til manuel behandling."
• "Alle afvisninger over en beløbsgrænse på 10.000 kr. kræver menneskelig godkendelse."
• "Klager fra kunder, der har klaget tidligere, eskaleres altid til en medarbejder."

Tærsklen skal stå skrevet ned. Ikke som en mundtlig aftale, men i en procedure der er tilgængelig for dem, der bruger systemet.

Træn medarbejderne. Ikke i at bruge softwaren, men i at forstå og udfordre dens output. En konkret øvelse: Tag de seneste 20 beslutninger systemet traf. Gå dem igennem med medarbejderen. Spørg: "Ville du have truffet den samme beslutning? Og hvis ja, kan du forklare hvorfor?" Kan medarbejderen ikke besvare det spørgsmål, er hun ikke et reelt kontrolpunkt.

Dokumentér beslutningerne. Når en medarbejder tilsidesætter AI-systemets anbefaling, skal det logges med en kort begrundelse. Ikke som straf, men som læring. Gemmer I de tilsidesættelser i seks måneder og gennemgår dem, vil I typisk se mønstre: systemet fejler konsekvent i bestemte situationer. Det er data, der gør systemet bedre. Det er også dokumentation, der viser tilsynsmyndigheder, at jeres menneskelige kontrol er reel.

En god intern AI-politik bør indeholde alle fire punkter.

Gennemsigtighed er ikke en juridisk formalitet

Det er fristende at se AI-gennemsigtighed som endnu en compliance-boks, der skal krydses af. Men organisationer, der tager det alvorligt, får en konkret fordel: de kan fange fejl, før de bliver til skandaler. De kan forklare deres beslutninger over for kunder og borgere. Og de kan bruge AI med tillid, fordi de ved, at der altid er et menneske med hånden på rattet.

Det kræver ikke en ny IT-afdeling. Det kræver, at de mennesker, I allerede har, forstår hvad AI-systemerne gør, og har mandat til at sige fra.

Start med at kortlægge ét enkelt AI-system i din organisation. Stil disse tre spørgsmål:

1. Hvad beslutter det, og hvem bliver påvirket?
2. Hvem i organisationen ser på det, inden beslutningen får konsekvenser?
3. Har den person reelt mulighed for at ændre det?

Svaret på det tredje spørgsmål fortæller dig, om I har reel kontrol. Vil du have det fulde overblik over det juridiske landskab for AI i din organisation, finder du det i vores samlede overblik for ledelsen.

For de konkrete GDPR-regler ved AI-brug, se vores tryghedsguide om AI og GDPR.

Bruno Poulsen

Bruno Poulsen er partner i Poulsen & Vinding, et konsulenthus der hjælper danske virksomheder og styrelser med at tage generativ AI i brug i den daglige drift. Han har været underviser hos Bigum i mere end 10 år og har siden 2023 stået bag AI-implementeringer, foredrag og workshops for blandt andre Lægemiddelstyrelsen, GS1 Danmark, Bornholms Højskole og 30+ bornholmske SMV’er via Business Center Bornholm. Skriver om praktisk anvendelse af AI-værktøjer, prompt engineering og hvordan ledelser kommer i gang mandag morgen kl. 08.00.