Human-in-the-loop gør ikke AI langsommere – det gør det muligt at køre hurtigere

Gå hen til den kollega i din organisation, der godkender output fra en AI-agent, og stil ét spørgsmål:

Hvor mange AI-output har du sagt nej til den seneste måned?

Er svaret nul, har du ikke en kontrol. Du har et menneske, der klikker godkend. Og det er en farligere position end slet ingen kontrol, fordi organisationen tror, den er dækket ind og i sikkerhed.

Det tog mig halvandet års drift og en enkelt meget ubehagelig eftermiddag at forstå den forskel.

Et sprog, der peger den forkerte vej

"Human-in-the-loop" bliver næsten altid præsenteret som en indrømmelse. Noget, vi har med indtil videre. En midlertidig afgift på autonomi, som forsvinder i takt med, at AI-teknologien modnes.

Læg mærke til, hvad den formulering antager: at målet er nul mennesker, og at hvert menneske i flowet er et skridt i den modsatte retning.

De organisationer, der reelt har AI-agenter i produktion, er holdt op med at tale sådan. Diskussionen handler i praksis sjældent om autonom kontra ikke-autonom, men om risikostyret autonomi — altså hvor meget systemet må gøre selv, holdt op mod konsekvensen af, at det tager fejl.

Der er sket et skifte, som de fleste organisationer stadig taler for lidt om. Vi behandler AI som et redskab, den enkelte skal lære at bruge, men i praksis flytter den rundt på, hvem der gør hvad, og hvornår i forløbet nogen skal se et arbejde efter i sømmene.

Jeg har brugt de sidste par år på at stå midt i den forskydning, og min erfaring er, at ét spørgsmål bliver overset: hvornår i flowet et output skal efterprøves? Netop det trin er sårbart, fordi det let kommer til at ligne ren friktion. Og derfor er det ofte noget af det første, der bliver skåret væk.

Diskussionen om menneskelig kontrol peger mod nul mennesker. Praksis peger mod det rigtige menneske på det rigtige sted.

min erfaring er, at ét spørgsmål bliver overset: hvornår i flowet et output skal efterprøves?

Tre betingelser, der sjældent er opfyldt samtidig

Fremgangsmåden er velkendt. Man tilføjer et godkendelsestrin, skriver "med menneskelig validering" ind i procesbeskrivelsen og betragter spørgsmålet som lukket.

Men et menneske i loopet har kun værdi, hvis tre betingelser er opfyldt på samme tid:

• De kan nå at se det
  Rammer output fyrre gange i timen, bliver det ikke læst fyrre gange. Det er ikke sløseri, men menneskelig kapacitet.
  ‍
• De kan nå at forstå det
  Kræver godkendelsen, at man sætter sig ind i syv skærmbilleders kontekst for at vurdere ét svar, er der ikke bygget en kontrol, men et ekstra stykke arbejde. Den slags bliver sprunget over på en travl torsdag.
  ‍
• De har mandat til at sige nej
  Betyder "afvis", at man selv skal lave arbejdet forfra, bliver der sjældent afvist noget – som i: aldrig nogensinde

Mangler bare én af de tre, har man i praksis et alibi frem for en kontrol. Og det er derfor, spørgsmålet om antallet af afvisninger er så brugbart: det måler ikke princippet, men om nogen reelt har kapacitet, forståelse og mandat til at bruge det.

Nul afvisninger betyder ikke, at systemet er godt. Det betyder, at ingen har set efter.

Mennesket var ikke det, der gjorde os langsomme. Mennesket var det, der gjorde, at vi turde køre hurtigt.

Reglen, jeg endte med

Vi drev fire produktteams i en SaaS-virksomhed, hvor store dele af produktudviklingen og kundedialogen hang sammen digitalt. Sagsstyring, adfærdsdata, kodebase og designsystem var koblet, og AI-agenter indgik efterhånden i næsten alle centrale arbejdsgange.

Reglen, jeg endte med, var kedelig nok til at kunne huskes: mennesket skal stå så sent som muligt i flowet, og opgaven skal være ja eller nej.

Placerer man mennesket først, bruger man et menneske på at instruere en maskine. Det er langsomt, og det er spild af netop den dømmekraft, mennesket er der for. Placerer man mennesket sidst, bruger man et menneske på at tage stilling til noget færdigt, lige før det bliver uigenkaldeligt. Det tager tredive sekunder.

I praksis så det sådan ud for mig: mails, der kom ind under møder, lå som udkast, når jeg vendte tilbage — ikke sendt, men klar til min godkendelse. En blokeret story blev undersøgt, før jeg selv vidste, at nogen sad fast, men beskeden til udvikleren skulle jeg bekræfte. En bug blev til et færdigt pull request, som udviklingsteamet tog stilling til.

Ingen af de trin bremsede noget. De flyttede blot det sted, hvor et menneske brugte sin opmærksomhed, fra begyndelsen af arbejdet til slutningen.

En konkret sag viste, hvor hurtigt det kunne gå: En IT-partner havde brug for en benchmarkanalyse af sikkerhed, som kunne bruges i kundemøder. Mindre end tredive minutter senere var behovet analyseret, løsningen valideret, bygget og sat i produktion. Der sad et menneske i det AI-flow.

Mennesket var ikke det, der gjorde os langsomme. Mennesket var det, der gjorde, at vi turde køre hurtigt.

Det, der ikke virkede

Vi forsøgte også flows, hvor AI-agenten fik lov til at føre arbejdet hele vejen til ende uden et menneskeligt stop undervejs.

Det var dér, problemet opstod.

En AI-agent var sat op til at opdatere produktbeskrivelser ud fra data i et regneark. Én kolonne var blevet forskudt, men agenten fortsatte som instrueret. Fejlen lå live i fire timer, før en kunde ringede og spurgte, om tilbuddet virkelig kunne passe.

Det kostede i sidste ende ingenting. Men der var intet trin i flowet, hvor et menneske skulle godkende ændringen, før den gik live. Det var held, ikke kontrol.

Agenten gjorde i princippet det, den var sat til. Fejlen lå i flowet omkring den.

Ingen havde besluttet, at ændringerne skulle godkendes, før de blev publiceret. Der var heller ingen, der aktivt havde besluttet, at de ikke skulle. Beslutningen var bare aldrig blevet truffet.

Sådan opstår en black box i praksis. Ikke nødvendigvis fordi teknologien svigter, men fordi ingen har besluttet, hvor kontrollen skal ligge.

Resultatet er en utilsigtet hændelse: Noget sker, ikke fordi nogen har besluttet, at det skal ske, men fordi ingen har besluttet, at det ikke må.

Sådan finder du dine egne huller

Øvelsen kræver en time, en tavle og ét flow, hvor I allerede bruger AI.

1. Tegn flowet helt ud til enden og find det uigenkaldelige punkt. Hvor noget bliver sendt, ændret, offentliggjort eller slettet, så det ikke længere kan trækkes tilbage med en undskyldning.
2. Sæt navn på den, der har besluttet, hvad der sker lige før det punkt. Ikke en afdeling, men et menneske. Findes der ikke et navn, er det opgave nummer et.
3. Stil nul-spørgsmålet. Hvor mange output har det menneske afvist den seneste måned? Svaret fortæller dig, om du har en kontrol eller et menneske med alibi.

Det er værd at bemærke, at ingen af de tre skridt kræver, at du forstår teknologien. De kræver, at nogen tager stilling. Og den stillingtagen kan ikke tegnes færdig fra et mødelokale – den skal ske sammen med dem, der har fingrene nede i arbejdet til daglig. Det er dem, der ved, hvor mange gange i timen et output rammer, og om nogen reelt når at læse det.

Beslutninger, der ikke bliver truffet, bliver alligevel truffet – bare af tilfældigheder.

Lad ikke tilfældigheder træffe beslutningen

Diskussionen om autonomi bliver ofte ført, som om den handler om, hvor moden, sikker eller kapabel teknologien er. Det gør den ikke. Den handler om, hvor store konsekvenser organisationen kan acceptere, hvis noget går galt — og om nogen har sat sig ned og regnet på det.

Human-in-the-loop er ikke det, der er tilbage, når automatiseringen ikke rækker længere. Det er den beslutning, der gør, at man tør lade automatiseringen række så langt, som den gør.

Beslutninger, der ikke bliver truffet, bliver alligevel truffet – bare af tilfældigheder.