Wanneer een AI-agent moet stoppen en een mens moet halen

Overdracht is het ontwerp, niet de terugval

De meeste agentprojecten ontwerpen het gladde pad tot in detail en behandelen overdracht als een foutstand die er later bij komt. Die volgorde is omgekeerd, en je ziet binnen tien minuten in een specificatie welke kant een team op heeft gewerkt.

De reden is dat je het gladde pad eindeloos stapsgewijs kunt verbeteren, terwijl het faalpad bepaalt of iemand het systeem onbewaakt laat draaien. Medewerkers laten een automatisering niet vallen omdat hij niet perfect is. Ze laten hem vallen omdat hij iets deed dat ze niet konden zien, niet aan hun leidinggevende konden uitleggen en niet konden terugdraaien. Ontwerp het moment waarop hij stopt voordat je het moment ontwerpt waarop hij werkt.

Signaal één: lage zekerheid, eerlijk gemeten

Het voor de hand liggende signaal is dat de agent het niet zeker weet. De moeilijkheid is dat taalmodellen standaard slecht geijkt zijn: ze produceren vloeiende, zelfverzekerde tekst over dingen waar ze geen grond voor hebben, en de zekerheid die in het proza doorklinkt heeft nauwelijks verband met of de inhoud klopt.

Zekerheid moet dus iets zijn dat je bouwt, nooit iets dat je afleest. In de praktijk betekent dat: het antwoord verankeren in een bron die opgehaald kan worden en overdragen wanneer er niets relevants terugkomt, controleren of dezelfde vraag twee keer beantwoord hetzelfde oplevert, en elk verplicht veld dat de agent niet uit een echt systeem kon vullen behandelen als stopvoorwaarde in plaats van als iets om af te leiden.

De goedkoopste versie hiervan, en de versie waar ik als eerste naar grijp, is een bewijsregel: de agent mag alleen handelen op feiten die hij kan aanwijzen. Kan hij het record niet noemen waar een waarde vandaan kwam, dan mag hij die waarde niet gebruiken. Dat haalt een grote klasse zelfverzekerde verzinsels weg zonder enige ijkmachinerie.

Signaal twee: asymmetrische kosten

Sommige fouten zijn goedkoop terug te draaien en sommige niet, en de agent hoort uitdrukkelijk te horen welke welke is, want hij kan het zelf niet uitrekenen. Een ietwat houterige bevestigingsmail sturen is te herstellen. Een terugbetaling doen, een afspraak annuleren waar iemand voor gereisd is, een record verwijderen of een leverdatum toezeggen zijn dat niet, of niet zonder dat een mens er een middag aan kwijt is.

De regel die ik gebruik is bot: kost het terugdraaien van een handeling meer dan het uitvoeren ervan, dan geeft een mens er akkoord op. Die ene zin haalt de meeste beslissingen weg waar mensen echt bang voor zijn, en dat zonder dat iemand het eens hoeft te worden over hoe goed het model is.

Hij dekt ook een geval dat teams vergeten. Asymmetrie is niet altijd financieel. Een ongevoelig antwoord aan een rouwende klant kost niets om te versturen en heel veel om verstuurd te hebben, en elke agent die gevoelige categorieën aanraakt hoort die naar een mens te sturen, hoe zeker hij ook is.

Signaal drie: niemand heeft hem hierom gevraagd

Het derde signaal is het signaal dat wordt overgeslagen, en het is ook het signaal dat de incidenten oplevert. Een agent met tools zal die proberen te gebruiken op wat er ook binnenkomt, inclusief verzoeken waar niemand aan dacht toen hij werd gebouwd. Een afsprakenagent die een factuurvraag krijgt, gaat de factuurvraag proberen, want niets heeft hem gezegd dat niet te doen.

De oplossing is saai en effectief: de lijst van wat hij doet wordt opgeschreven, de agent krijgt te horen wat daarbuiten valt, en alles wat hij niet herkent gaat standaard naar een mens. Standaard weigeren is oude beveiligingspraktijk en geldt hier onveranderd. De prijs is een aantal onnodige overdrachten in de eerste twee weken, en die vertellen je waar de lijst scherper moet.

Wat een goede overdracht echt bevat

Een overdracht die binnenkomt als een melding dat de agent hulp nodig heeft, is geen overdracht maar een onderbreking. Degene die hem oppakt moet alles reconstrueren wat de agent al wist, wat trager is dan wanneer de agent er nooit bij was geweest, en na twee weken daarvan gaat het team om het systeem heen werken.

Een overdracht die het bouwen waard is draagt vijf dingen, en dat is geen lange lijst:

• Wat er werd geprobeerd, in één regel die een collega kan lezen.
• Wat de agent al had vastgesteld, met links naar de records die hij heeft gelezen.
• Waarom hij stopte, met vermelding van welk van de drie signalen afging.
• Wat hij al heeft gedaan, zodat niemand een stap herhaalt of een tweede mail stuurt.
• Wie er nu eigenaar van is, bij naam, met de klok aan.

Wat overdracht niet is

Het is geen rij zonder eigenaar. Doorsturen naar een gedeelde inbox die vier mensen kunnen zien en waar niemand verantwoordelijk voor is, is hoe een overdrachtsroute de plek wordt waar werk gaat sterven, en op elk dashboard dat je hebt blijft het groen.

Het is ook geen excuus met een telefoonnummer. Een beller vertellen dat iemand contact opneemt, zonder plek in de agenda en zonder bewaarde context, verplaatst het probleem naar hem. Kan de agent een echte tijd uit een echte agenda aanbieden, dan hoort hij dat te doen, en de persoon die dat gesprek voert hoort te arriveren met de wetenschap wat er al is gebeurd.

Het overdrachtspercentage is een knop, geen cijfer

Teams behandelen het aandeel overgedragen gevallen vaak als een rapportcijfer en proberen het naar nul te drukken. Je begrijpt het beter als een knop die je bewust zet: hoog bij de start, en lager naarmate er bewijs komt over welke gevallen de agent goed afhandelt.

Twee getallen zijn de moeite waard om meer in de gaten te houden dan het percentage zelf. Het eerste is hoeveel overdrachten achteraf onnodig bleken, wat je vertelt dat de grens te strak staat. Het tweede, en dat is het getal dat telt, is hoeveel incidenten zijn gevonden door iemand anders dan het systeem: een klant die klaagt, een collega die een verkeerd cijfer opmerkt. Elk daarvan betekent dat de agent faalde zonder het te weten, en dat is het enige faalgeval op deze pagina waar je wakker van hoeft te liggen.