Algoritmen dicteren in toenemende mate ons leven. Nu steeds meer organisaties op weg zijn naar digitale transformatie, is het van groot belang dat bestuurders en leidinggevenden kunnen vertrouwen op de analyses en beslissingen die algoritmen voor hun organisatie genereren. ‘Daar ligt een grote uitdaging voor de businesscontroller,’ zegt Sander Klous, hoogleraar (UvA) op het gebied van Big Data Ecosystemen. ‘Interessant, moeilijk en complex, maar wij zijn de generatie die hier vorm aan kan geven. Een unieke kans!’
De informatiesamenleving trekt de scope van de werkzaamheden van een businesscontroller veel breder. Een jaarrekeningcontrole verbleekt bij de complexiteit van artificial intelligence of big data. Een jaarrekening is simpel optellen en aftrekken. Het ware spel begint bij het afleggen van verantwoording over data en analyses binnen een organisatie.
‘Als je denkt vanuit de impact van een organisatie op de wereld, is de vraag of de huidige scope van de businesscontroller wel de juiste is. Moet hij die niet veel breder trekken?’ Aan het woord is Sander Klous, hoogleraar (UvA) op het gebied van Big Data Ecosystemen en partner bij KPMG en spreker op de Nyenrode Collegereeks Controller als Business Partner. ‘Ja. Je moet niet alleen denken hoe je financiële verantwoording aflegt, maar hoe leg ik überhaupt verantwoording af over de manier waarop een organisatie de maatschappij beïnvloedt? De businesscontroller speelt daarin een centrale rol. Het is onmogelijk om die verantwoording af te leggen zonder dat de organisatie in control is met betrekking tot de data die wordt gebruikt en de analyses die worden uitgevoerd.’
Controls en algoritmes
Dat betekent dus dat een organisatie haar algoritmes in control moet hebben. Dat betekent: een controlframework inrichten, objectives bepalen en standard operating procedures vastleggen. ‘Daarbij zie je veel samenloop met de controls die we al langer kennen en gebruiken,’ merkt Klous op. ‘Wat is materieel, wat is niet materieel? Wat is relevant, wat is niet relevant? Ook de three lines of defence komen erbij terug en het vier-ogenprincipe. Een belangrijk verschil is dat je te maken hebt met een agile proces. Dat vraagt iets van de controller, die moeten een aantal zekerheden loslaten: documentatie, traceerbaarheid, processen. Een boekhouding is niet agile opgebouwd.’ Maar, vervolgt Klous: ‘De agile werkwijze kent ook controls. Neem bijvoorbeeld de definition of done. Daarin kun je controlobjectives vastleggen. Aan het eind van een sprint heb je meestal een productdemo. Dan moet ook aan de orde komen of wat er is geproduceerd voldoet aan de definition of done. Maar die controls moet je dus wel weten te vinden.’
Agile werken en controls
Het mes snijdt daarbij aan twee kanten, betoogt de hoogleraar. ‘Agile teams hebben de neiging die controls te vergeten. Dus dit is voor die agile teams ook een interessant proces. Zij krijgen nu vanuit een andere hoek de vraag: hoe ziet jouw definition of done eruit? Dat geeft een andere dynamiek in die teams. En daar ben je op uit. Dat het beheersbaarder wordt en dat je beter inzicht krijgt in de kwaliteit. Dat zijn we nu vanuit KPMG aan het opzetten samen met de gemeente Amsterdam (zie kader). Van alle kanten zie je die vraag opkomen: hoe ga je hier mee om? Vaak zie je dat er meerdere teams zijn die zich bezig houden met algoritmes. En ieder team heeft zijn eigen werkwijzen. Dat heeft ook te maken met de onvolwassenheid van het veld. Boekhouding doen we al heel lang. Algoritmes nog niet zo lang. En audit op algoritmes is heel nieuw.’
AI bij de gemeente Amsterdam
De gemeente Amsterdam gebruikt algoritmen bij haar digitale dienstverlening. Amsterdam heeft een open-sourcesysteem ontwikkeld waarbij bewoners en bedrijven eenvoudig online meldingen kunnen indienen, bijvoorbeeld over afval op straat. Zodra het verzoek is ingediend, identificeert een algoritme het soort melding en adviseert welke afdeling het verzoek afhandelt. Het is de bedoeling dat de applicatie in de nabije toekomst ook de prioriteit van de aanvraag bepaalt. Door zelflerende technologie zal de besluitvorming van het algoritme in de loop van de tijd verbeteren.
Als controller heb je dus nog wel wat uitdagingen. Er zijn nog geen standaarden. Daar wordt nu wel heel hard aan gewerkt. Zo heeft de Norea (beroepsorganisatie van IT-auditors) een werkgroep opgericht en ook VWData (verantwoorde waardecreatie met data) buigt zich hierover.
Wat is een goed algoritme?
Het is heel lastig om het succes van een algoritme goed te definiëren. ‘Er worden grote successen gevierd op het gebied van AI, zoals AlphaGo, die een mens heeft verslagen bij het spel Go. Dat was echt een succes. Om daar een mens bij te verslaan heb je meer nodig dan rekenkracht. Je hebt daar ook creativiteit voor nodig. Het was niet verwacht dat dat zo snel zou gaan. Maar de definitie van succes is in dit geval heel eenvoudig: je wint of je verliest. Vanuit dat oogpunt is dit een hele simpele casus.’ Het werkelijke leven is niet zo simpel, betoogt Klous. ‘Neem de vraag wat de beste kandidaat is bij een sollicitatie. Het is heel lastig te definiëren wat ‘de succesvolste kandidaat’ is. Vaak verval je dan in historische data. Maar daar zitten ook allerlei effecten in die je niet in je algoritme wil. Als je geen goede definitie van succes hebt en geen historische data die bias-vrij is, dan wordt het heel moeilijk om algoritmes te maken die aan de verwachtingen van onze maatschappij voldoen. Je moet dan methodes gaan vergelijken en kijken welke methode beter is. Maar dat is nog steeds geen objectieve methode. Wel ontstaat door te vergelijken vaak een methode die beter is dan wat je had.’
Wie is er verantwoordelijk?
Als een mens een beslissing neemt is het simpel, dan is de mens verantwoordelijk. Bij een algoritme is dat anders. ‘Neem de zelfrijdende auto. Als er iets mis gaat, wie is dan verantwoordelijk? Is het de ontwikkelaar van het algoritme of degene die die auto gekocht heeft? Veel oplossingen neigen naar een ‘human in the loop’: dat er een mens tussen de beslissing van het algoritme en de uiteindelijke beslissing zit. Maar dat is eindig,’ zegt Klous. ‘In de gezondheidszorg zie je dat al. Algoritmes die röntgenscans controleren zijn daar tegenwoordig al beter in dan artsen. Het was wel goed er nog een mens naar te laten kijken, want algoritmes maken wel andere fouten dan mensen. De uitkomst was nog altijd een stuk beter als er ook een mens naar keek. Maar dat begint te veranderen: nog even en iedere inbreng van een arts is negatief. Als dat zo is, kun je niet meer van een arts verwachten dat die verantwoordelijk is. Nu zie je al dat artsen zich zorgen maken als ze tegen het algoritme ingaan. Welke verantwoordelijkheid trek ik naar me toe? Als er een rechtszaak van zou komen, wat is dan je verhaal?
De rechter herkent die uitdaging ook. Standaarden ontwikkelen zich niet van de een op de andere dag. Dat gebeurt over het algemeen op basis van jurisprudentie. Dus de rechter moet gaan beoordelen of dat algoritme goed genoeg was. Maar hoe gaat zo’n rechter dat bepalen? Rechters geven zelf ook aan dat ze daar nu niet de juiste bagage voor hebben.’
De brede scope van de businesscontroller
De controller zit volgens hoogleraar Klous in het hart van het ecosysteem. ‘De controller heeft nu al allerlei verantwoordelijkheden financieel. Maar de scope verandert. Het gaat niet meer alleen over finance, maar over operationele processen. En je moet aantonen dat je in control bent over die processen. Denk aan het dieselschandaal. Je kunt je afvragen of de controller daar in gebreke is gebleven. Had die niet moeten weten dat men niet kon vertrouwen op die algoritmes? Als de controller zijn of haar scope heeft gedefinieerd op financiële gegevens, dan zijn deze risico’s niet afgedekt. In mijn ogen ben je als controller ook verantwoordelijk voor die bredere scope. Je kunt niet roepen dat zit niet in het financiële domen. Daar is iemand anders verantwoordelijk voor.’
Lees ook: ‘Als controller zeggen dat je niet aan big data doet, is niet realistisch’
Hoe leg je het uit?
Een belangrijk onderwerp dat speelt bij algoritmen is uitlegbaarheid zegt Klous. ‘Uitlegbaarheid kennen we vanuit de boekhouding. Maar er is niemand die een jaarrekening gaat uitleggen aan het algemeen publiek. Want er zijn allerlei redenen waarom je geen algehele transparantie wilt geven. Dus doe je er een audit op. In een audit zeg je we hebben geen afwijkingen gevonden in de jaarrekening die ons doen geloven dat die niet klopt. Dat betekent niet dat een bedrijf niet failliet kan gaan. Al is dat wel de perceptie van veel mensen bij een goedkeurende verklaring. Als een bedrijf failliet gaat zegt iedereen ‘hoe kan dat dan?’. En klopt vaak bij de auditor aan.’
Hij vervolgt: ‘Bij algoritmes is dat niet heel anders. Je wil niet gaan uitleggen hoe een algoritme werkt. Daar heeft niemand behoefte aan. Neem de zelfrijdende auto. Daar zit een algoritme in. In- of externe audit moet daar iets van vinden. Maar niemand is geïnteresseerd in dat algoritme. Mensen willen weten: hoe vaak is het getest en hoe vaak is het misgegaan. Een auditor kan vervolgens zeggen: ‘Wij hebben niet kunnen constateren dat dit algoritme fouten bevat.’ Hij zegt niet: ‘Deze auto maakt nooit een botsing’. Maar dat is wel hoe de buitenwereld het interpreteert. En dat is nog wel een probleem. Want dit soort algoritmen zitten veel dichter op onze huid dan een jaarrekening. Als hier iets misgaat, gaat het om mensenlevens.’
Als jij het niet doet, wie doet het dan?
Hoe ga je als auditor een verklaring afgeven over het functioneren van een algoritme, zonder je reputatie geweld aan te doen? Dat is een vorm van verwachtingenmanagement. Doe je dat niet, dan hebben mensen een slechte ervaring. Je krijgt een slechte reputatie en dat is slecht voor je merk. Jij als controller zit er ook om de reputatie van het merk te beschermen. Hoe zorg je dat mensen van je bedrijf of je product datgene verwachten wat je ook waar kunt maken. ‘
‘En misschien denk je als controller ‘dat is niet mijn pakkie an’. Maar als jij het niet afdekt, wie dekt het dan af? Als dat niemand is, dan heb je wel iets om aan te kaarten. Ofwel je gaat het zelf op je nemen, of iemand anders gaat het doen. Maar dat is dan wel een vrijwel gelijke functie, alleen dan op een ander domein. Iets om eens goed over na te denken.’
************************************************************************
Collegereeks Controller als Business Partner
Organisaties opereren steeds meer in een complexe en dynamische wereld. De controller krijgt hierdoor ook een meer uitdagende rol. Naast de controlerende taken staat hij het management bij en geeft hij advies bij de operationele en strategische besluitvorming. De controller als businesspartner is mede verantwoordelijk voor waardecreatie in het bedrijf.
Business control is daarmee wezenlijk iets anders dan financial control. Het vraagt andere vaardigheden en kennis van de controller. Hij heeft inzicht in de wendbaarheid van de organisatie en kan nieuwe businessmodellen doorgronden waarbij waardetoevoeging plaatsvindt op niet-financiële indicatoren. De controlfunctie verandert meer naar een adviserende rol. Dit vraagt om bevlogen leiderschap en goede communicatieve vaardigheden.
Wat kunt u verwachten in de collegereeks?
Nyenrode en cm: organiseren samen een collegereeks waarin de uitdagingen van de business controller centraal staan. In zes exclusieve colleges gaan hoogleraren en experts uit de praktijk in op al deze aspecten. Verdieping, inspiratie en praktijkvoorbeelden geven inzichten in uw veranderende rol binnen de organisatie. Er is voldoende ruimte voor vragen en discussies. Start vanaf 18 mei 2022. Sander Klous legt tijdens dit college uit wat de impact van de informatiesamenleving is op het werk van de controller.
