Analytics en AI staan nog aan het begin van hun ontwikkeling. Organisaties waren niet zo lang geleden over het algemeen huiverig om zich te laten leiden door algoritmes, deels vanwege een vermeend verlies van controle, een gevoel van ongrijpbaarheid, maar grotendeels omdat het vertrouwen er nog niet was. Dat is al sterk veranderd, nu er meer ervaringen zijn opgedaan met analytics.
Financials zien in de praktijk hoe data driven beslissingen hun concurrentiepositie verbetert ten opzichte van onderbuikgevoel gebaseerd op ervaringen en intuïtie. Ondanks die resultaten is niet iedereen overtuigd. Algoritmes maken soms fouten, net als mensen. Maar waar we mensen wat meer vertrouwen, is het gevoelsmatig lastiger om datzelfde vertrouwen te schenken aan een algoritme.
Net als een houdbaarheidsdatum
Hoe verbeteren we dat vertrouwen? ‘Ervaring is een belangrijke factor,’ legt prof. dr. Sander Klous, hoogleraar (UvA) op het gebied van big data ecosystemen en spreker tijdens de Nyenrode Collegereeks Controller als Business Partner uit. ‘Vergelijk het met een melkpak. Daarop staat een houdbaarheidsdatum en daar vertrouwen we op omdat we al veertig jaar melk drinken en de ervaring leert dat de datum meestal wel klopt. We weten niet hoe de datum wordt vastgesteld, maar in ons achterhoofd hebben we ook nog dat er iets met de Voedsel en Warenautoriteit is.’ We kunnen dus niet precies uitleggen hoe het werkt, maar weten dát het werkt. Hetzelfde principe gaat op voor bijvoorbeeld financiële algoritmes. We hoeven niet precies te weten hoe het op de achtergrond werkt, maar moeten vertrouwen hebben dat erover wordt nagedacht en dat iemand erop toeziet dat de informatie betrouwbaar is en blijft.
Op de achtergrond valt er veel uit te leggen en dat is voor bijvoorbeeld de datascientist of auditor belangrijk, zodat deze kan valideren dat het algoritme betrouwbaar is. Maar voor de business user is dat allemaal een stuk minder relevant. Sterker nog, een gedetailleerde uitleg lijkt het vertrouwen juist te ondermijnen. Klous haalt een voorbeeld aan van universiteit Stanford die cursisten beoordeelde via een algoritme dat een cijfer baseerde op 20 peer-reviews van andere studenten. Na ontvangst van het cijfer werd de cursisten gevraagd naar hun ervaringen. Eén groep kreeg weinig uitleg over de berekening van de behaalde score en een tweede groep kreeg een heel gedetailleerde technische verklaring van de werking van het algoritme. ‘Mensen bleken vertrouwen te hebben met de korte verklaring, maar de mensen die de uitgebreide uitleg kregen, hadden daarna geen vertrouwen meer.’
Drie soorten van uitlegbaarheid
De crux is het aanpassen van de boodschap aan het publiek. ‘Je hebt te maken met verschillende soorten uitlegbaarheid. De eerste vorm is de uitleg richting de datascientist of auditor. Dat is een bijna wetenschappelijke benadering waarin je uitlegt welke modelkeuzes er zijn gemaakt, welke dataselectie er heeft plaatsgevonden en hoe het model getraind is. Een andere datascientist moet dit precies kunnen nadoen en op dezelfde resultaten uitkomen.’ Dat is de uitlegbaarheid waar inhoudelijke deskundigen zich mee bezighouden, maar die voor de financial minder relevant is. De technische uitleg kan, zoals uit het Stanford-voorbeeld blijkt, juist averechts werken.
‘De tweede vorm is procesuitlegbaarheid,’ gaat Klous verder. ‘Dat is belangrijk als je bijvoorbeeld voor de rechter komt te staan omdat je algoritme gefaald heeft. Welke waarborgen zijn er ingebouwd, welke controle, welke beveiligingsmiddelen – allemaal om te zien waar het misging en wie daar verantwoordelijk voor is.’ Bij de rechtbank is de technische uitleg minder relevant, maar gaat het om de implementatie in de context van een juridisch framework. Deze uitleg van het proces is, samen met de volgende vorm, relevant voor de financial.
En ten slotte, is er de uitlegbaarheid voor de persoon die wordt geraakt door de uitkomst. ‘Als een aanvraag voor een lening wordt afgewezen, wil je weten waarom, zodat je het kunt aanvechten. Harde regels zijn duidelijk, zoals: 'je hebt een jaarinkomen van minstens 30.000 euro nodig'. Maar waarom is die regel er? Negen van de tien keer is die ook gebaseerd op statistiek: de bank heeft ooit gemerkt dat de kans dat iemand een lening terugbetaalt onder dat drempelinkomen een stuk lager is.’
Waarom is deze beslissing genomen?
Het verschil met veel menselijke processen is dat gebruikers met data driven besluitvorming juist beter kunnen achterhalen waarom een bepaalde beslissing is genomen. ‘Denk aan recruitment. Waarom is die ene kandidaat aangenomen en die andere afgewezen? Dan krijg je iets als: 'deze kandidaat past beter bij de organisatie'. Bij algoritmes kun je om een betere uitleg vragen.’ Dat vereist wel dat de datascientist, het model baseert op de juiste gegevens, bias vermijdt bij het trainen en het model corrigeert.
Een voorbeeld dat hierop aansluit is een berucht incident bij Amazon. Het bedrijf werkte aan een tool om te helpen met de werving van software-ontwikkelaars. Het algoritme baseerde zich bij de selectie op historische data. In die tien jaar waar het model op werd getraind werden voornamelijk mannelijke programmeurs aangenomen. Het algoritme was gebouwd om bijvoorbeeld voor 100 kandidaten de 5 meest geschikte te selecteren. Gebaseerd op die twee datapunten, was het logische gevolg dat vrouwelijke kandidaten bij de 95 minder geschikte kandidaten werden geschaard.
De echte black box is de mens”
Het proces leerde termen op cv’s herkennen en hing daar een gewicht aan. Cv’s met termen als ‘vrouw’, ‘schaakclub voor vrouwen’ en vermeldingen van opleidingen die meer door vrouwen werden gevolgd werden daardoor minder zwaar gewogen dan cv’s zonder deze elementen. Maar ook specifiek woordgebruik dat meer door mannen werd gebezigd dan vrouwen kreeg een zwaarder gewicht. Het ontwikkelteam paste de tool aan op deze inzichten, maar de resultaten werden steeds onbetrouwbaarder en leverde suggesties op die volgens ingewijden bij Amazon leken op willekeur. Bovendien konden de ontwikkelaars niet uitsluiten dat het deep learning-proces na de aanpassingen andere elementen zou leren om de ‘ongewenste eigenschap’ uit te filteren. Het hele model werd uiteindelijk naar de prullenbak verwezen.
Mens is ook een black box
Klous stelt dat de discussie over de uitlegbaarheid van algoritmes en het black box-effect - waarbij gebruikers en zelfs specialisten niet meer kunnen zien waaróm een beslissing is genomen - op gang is gekomen juist omdát je nu veel meer kunt uitleggen dan vroeger. ‘Je kunt nu scenario’s simuleren, een historische casus terugspelen en aanpassingen doen. Wat gebeurt er als ik deze factor verander?’ Omdat we kunnen uitleggen, is er meer behoefte aan uitlegbaarheid.
Hij haalt een bekende zaak aan van een zelfrijdende Uber-auto in Arizona. De zelfrijdende Uber reed in de staat een fietsster aan met fatale gevolgen. ‘Hierbij kun je aan de hand van de data het ongeval helemaal simuleren en achterhalen waar het precies misging. Met alleen menselijke betrokkenen heb je te maken met traumatische herinneringen en persoonlijke belangen waardoor zulke analyse niet mogelijk is. De echte black box is de mens.’
Verhalen als een ongeluk met een zelfrijdende auto of wervingssoftware die een voorkeur geeft aan mannelijke kandidaten geven de indruk dat er nog wel wat voor verbetering vatbaar is. Hoewel dat ook deels waar is, is het punt vooral dat de negatieve ervaringen een fractie zijn van het geheel aan ervaringen met AI. Als mens zijn we geneigd die negatieve ervaring van N=2 zwaarder te laten wegen dan de duizenden positieve voorbeelden van wat er wel goed gaat.
Algoritmes kunnen ongelijkheid verkleinen
In een rapport aan de Tweede Kamer over algoritmische besluitvorming, kijken onderzoekers dan ook niet alleen naar risico’s, maar ook naar kansen. Een goed ontworpen en getraind model verkleint juist ongelijkheid en discriminatie. ‘De inzet van algoritmen creëert ook kansen voor het recht op non-discriminatie,’ zo schrijven de onderzoekers. ‘Doordat algoritmen in staat zijn om veel informatie te verwerken kunnen ze veel individuele kenmerken van personen meenemen in besluitvormingsprocessen.’
Bij een case study van Stijn van Deursen en Stefan Philipsen van de Universiteit Utrecht naar algoritmes in de rechtspraak merken de onderzoekers fijntjes op: ‘Ook menselijke rechters zijn immers niet perfect en ook zij kunnen in sommige gevallen beslissingen nemen die mogelijk gebaseerd zijn op diepgewortelde maatschappelijke vooroordelen of stereotypen.’ Ook in dit rapport staat dus te lezen dat het menselijke beslissingsproces feitelijk een black box is. ‘Het voordeel dat een algoritme heeft ten opzichte van menselijke beslissingen is dat áls uiteindelijk wordt vastgesteld dat een reeks van beslissingen indirect discriminerende uitkomsten bevat, het meestal mogelijk zal zijn om het algoritme technisch bij te stellen (hoewel dat in technische zin lang niet altijd eenvoudig zal zijn). Menselijk gedrag bijsturen is in dat licht vaak moeilijker.’
Fouten in perspectief plaatsen
Het is duidelijk dat op dit gebied vertrouwen te winnen valt zodra gebruikers de uitkomsten breder zien. Ervaringen met algoritmische beslissingen geven gebruikers meer houvast, omdat ze aan de resultaten zien wat er goed gaat. Als een algoritme vervolgens ergens de fout ingaat, wat net als met menselijke beslissingen onvermijdelijk is, kunnen gebruikers de foute uitkomsten beter in perspectief plaatsen, want een eerlijk algoritme is niet hetzelfde als een foutloos algoritme.
