Het voorwoord van Abdelkader Benali zet wat mij betreft meteen de toon. Aan de hand van de achttiende-eeuwse schaakautomaat De Turk, die autonoom leek maar in werkelijkheid door een verborgen mens werd bediend, stelt hij een vraag die door het hele boek loopt: wie zit er eigenlijk in de machine? Achter wat wij als zelfstandige AI ervaren, zitten mensen, data, arbeid, organisaties, infrastructuur en economische belangen.

Nasrullah werkt die vraag uit aan de hand van zeven mythen rond AI. Achtereenvolgens onderzoekt hij de belofte van een technologisch paradijs, productiviteitswinst, intelligentie, het menselijke, objectiviteit, zelflerend vermogen en autonomie. Het boek is daarmee minder een technische uitleg van AI dan een onderzoek naar de verhalen, begrippen en verwachtingen waarmee we de technologie betekenis geven.

De uitspraak van Joseph Weizenbaum die het boek voorafgaat, past daar goed bij. Vragen over automatisering, menselijke verantwoordelijkheid en onze neiging om machines menselijke eigenschappen toe te schrijven zijn niet nieuw. Nasrullah stelt ze opnieuw, nu in de context van generatieve AI, taalmodellen en de huidige investeringsgolf.

In grote lijnen kan ik me goed vinden in Nasrullahs kritische analyse. Hij relativeert de verwachtingen rond AI zonder te stellen dat de technologie geen waarde heeft. Zijn boodschap is eerder dat AI een realistische plek in de samenleving moet krijgen, gebaseerd op wat systemen aantoonbaar kunnen, welke risico’s en kosten daarbij horen en welke menselijke keuzes achter hun ontwikkeling en toepassing schuilgaan. Op enkele punten vind ik dat hij wat kort door de bocht gaat, vooral waar hij uitspraken doet over de wetenschappelijke mogelijkheden van risicoclassificatie. Dat doet voor mij overigens weinig af aan de waarde van het boek. Sterker nog, juist met zijn prikkelende uitspraken is hij een toegankelijke gids om nuchterder naar AI te kijken.

Technische prestaties zeggen niet zonder meer iets over menselijke eigenschappen als begrip, empathie of intentie. Dat is een van de centrale gedachten in het boek. Een systeem kan goed schaken, overtuigende teksten schrijven of zelfstandig meerdere stappen uitvoeren zonder dat daarmee is aangetoond dat het begrijpt wat het doet of zelf doelen vormt. Deep Blue, AlphaGo, de Turingtest en het ELIZA-effect illustreren dit onderscheid. Vooral bij taalmodellen kan mensachtige taal gemakkelijk de indruk van begrip wekken, terwijl de output voortkomt uit het modelleren van statistische patronen in trainingsdata.

Nasrullah besteedt ook veel aandacht aan de economische belofte van AI. Grote investeringen en tijdsbesparing zijn volgens hem geen bewijs van productiviteitswinst. Hij verwijst onder meer naar Daron Acemoglu, die de extra productiviteitsgroei door AI over tien jaar op ongeveer 0,5 procent schat, en naar een METR-experiment waarin ervaren programmeurs bij de onderzochte taken met AI gemiddeld 19 procent langer werkten. Productiviteit gaat tenslotte niet alleen over snelheid. Kwaliteit, correctiewerk, foutkosten en de organisatie waarin een systeem wordt gebruikt, tellen ook mee.

Ook de vermeende objectiviteit van geautomatiseerde besluitvorming krijgt veel aandacht. Modellen zijn niet waardevrij: mensen bepalen welke data worden gebruikt, welke kenmerken relevant zijn, waar grenzen worden getrokken en welke fouten acceptabel worden gevonden. Het toeslagenschandaal, de Amsterdamse Slimme Check en risicoprofilering van jongeren dienen als voorbeelden. Bij het toeslagenschandaal vind ik de koppeling met AI soms te sterk aangezet. Het ging om breder systeemfalen, waarin wetgeving, uitvoeringspraktijk, rechtsbescherming, organisatiecultuur en geautomatiseerde risicoselectie samenkwamen.

Bij Nasrullahs behandeling van risicoclassificatie plaats ik eveneens een kanttekening. Hij benadrukt terecht dat correlatie geen causaliteit is en dat statistische scores problematisch kunnen worden wanneer ze zonder voldoende waarborgen op individuele mensen worden toegepast. Daaruit volgt echter niet dat zulke modellen wetenschappelijk niet kunnen werken. Een model kan aantoonbare voorspellende waarde hebben zonder dat de causale mechanismen volledig bekend zijn. Voor mij ligt de wezenlijke vraag ergens anders: is die voorspellende waarde betrouwbaar genoeg en is het rechtvaardig en proportioneel om er ingrijpende beslissingen over personen op te baseren?

Wat in discussies over AI nogal eens uit beeld raakt, is hoeveel menselijke arbeid en fysieke infrastructuur ervoor nodig zijn. Trainingsdata bestaan uit door mensen gemaakte teksten, beelden en andere werken; datawerkers labelen informatie en beoordelen modeluitvoer. Voor ImageNet werden volgens Nasrullah ongeveer 49.000 mensen in 167 landen ingezet om miljoenen afbeeldingen te labelen. Grote modellen vragen daarnaast om chips, datacenters, elektriciteit, water en grondstoffen. Het woord ‘zelflerend’ kan die menselijke en materiële voorwaarden gemakkelijk aan het zicht onttrekken.

In het laatste deel verschuift de aandacht naar autonomie en verantwoordelijkheid. AI-systemen kunnen binnen een bepaalde opdracht zelfstandig handelingen uitvoeren, maar dat is iets anders dan zelfstandig doelen of intenties vormen. Verhalen over systemen die ‘liegen’, ‘willen ontsnappen’ of mensen ‘manipuleren’ moeten daarom zorgvuldig worden geïnterpreteerd. Interessanter is de vraag wie het systeem ontwerpt, hoeveel handelingsruimte het krijgt, wie het inzet en wie verantwoordelijk is wanneer het misgaat. En daar ben ik het dus helemaal mee eens.

Door het hele boek heen keert Nasrullah zich tegen de vanzelfsprekendheid waarmee over AI wordt gesproken. De vraag is niet alleen hoe AI kan worden toegepast, maar ook of een toepassing nodig en wenselijk is en welke aantoonbare baten, risico’s en alternatieven er zijn. Voor mij zit de kracht van het boek vooral in het zichtbaar maken van hype, antropomorfisering, commerciële belangen, menselijke arbeid en institutionele verantwoordelijkheid. Op sommige plaatsen formuleert Nasrullah zijn conclusies stelliger dan de onderliggende wetenschap volgens mij rechtvaardigt. Maar zijn hoofdboodschap blijft overeind: kijk niet naar ‘AI’ als abstract verschijnsel, maar naar het concrete systeem, de context waarin het wordt gebruikt en het bewijs voor de beloofde waarde.

Ik zeg: lees dit boek!