Kunstmatige intelligentie De hetze met AI-detectietools doet Barend Last akelig veel denken aan de middeleeuwse Heksenwaag in Oudewater. Net als die weegschaal zegt een AI-detector volgens hem niks over de validiteit van een beschuldiging.
De heksenwaag in Oudewater.
„De volgende bijdrage is mede mogelijk gemaakt door Keano, mijn beleidsmedewerker, mijzelf en Claude.” Met deze gekscherende disclaimer begon Kamerlid René Claassen (Groep Markuszower) onlangs aan een debat over ziekenhuiszorg. De dag ervoor had De Groene Amsterdammer hem gemeld dat zijn speeches door AI-detector Pangram waren gehaald. Resultaat: hij behoorde tot de 68 Kamerleden met AI-teksten aan het spreekgestoelte.
Barend Last is leraar in het basisonderwijs en schrijver.
Hij is dit najaar in goed gezelschap: Rob(ot) Jetten, diverse opinieschrijvers, een Franse romancier en afgelopen week twee genomineerde essayisten voor de Joost Zwagerman Essayprijs het veld moesten ruimen – allemaal ‘betrapt’ op AI-gebruik. Op LinkedIn lees ik een verontwaardigd bericht van Volt-leider Laurens Dassen: „We worden collectief dommer”.
Deze hetze doet me denken aan de Heksenwaag in Oudewater. Werd je in de 16de tot de 18de eeuw van hekserij verdacht, dan kon je je daar laten wegen. Te zwaar voor een bezemsteel? Dan kreeg je een certificaat mee: geen heks. Uiteraard tegen betaling; elke weging spekte de stadskas.
Die waag illustreert prachtig wat er schort aan de huidige Pangram-processie. Zeker, de weegschaal was destijds een vrij betrouwbaar meetinstrument: stapte je er tien keer op, dan woog je tien keer hetzelfde. Maar ja, dat zegt natuurlijk nog niets over hekserij. Valide, zoals dat in de wetenschap heet, was het dus allesbehalve.
Kijk nu eens met die twee begrippen naar Pangram. Redacties noemen de tool „zeer betrouwbaar”, waarbij ze zich baseren op onafhankelijk onderzoek, en het bedrijf zelf loopt te koop met slechts één vals positief op de tienduizend. Onzin. Het regent berichten op LinkedIn van mensen die hun oude teksten van vóór ChatGPT door Pangram haalden en het vonnis ‘100 procent AI’ kregen. Ook zijn er vals negatieven: een AI-tekst die met één simpele typefout of extra puntkomma naar 0 procent AI verschuift. De detector is bovendien kinderlijk eenvoudig te omzeilen: gebruik een zogenoemde ‘humaniseer’-tool, lees een gegenereerde tekst in eigen woorden voor en laat dat uitschrijven, of redigeer hier en daar een zin.
En dat onafhankelijke onderzoek waar redacties bij zweren? Daarin legden onderzoekers Engelstalige teksten van vóór ChatGPT naast pure machineteksten, oftewel: zwart naast wit. Al het grijs daartussen, waar een mens denkt en schrijft en een model schaaft, bleef buiten beeld. Maar dat is wel precies waar nu de heksenjacht woedt. Ander onderzoek laat bovendien zien dat vooral strakke stilisten en mensen die in een tweede taal schrijven ten onrechte op de waag belanden. Intussen sijpelt AI-taal overal door en worden modellen elke maand beter. Een weegschaal die vandaag al scheef hangt, gaat morgen echt niet opeens recht hangen.
En al zou je met 100 procent betrouwbaarheid AI-gebruik kunnen meten, dan nog schort het aan de validiteit: wat meet Pangram precies, en wat willen we eigenlijk weten? Dassen schrijft dat kiezers op hem stemmen omdat ze zíjn weging willen. Daar moet het over gaan, toch? Staat een Kamerlid achter zijn woorden? Zijn de ideeën van hem of haar, en kan daarover rekenschap worden afgelegd?
Voor zover bekend knipt Pangram een tekst in stukjes en schat per stukje de kans dat het qua stijl en patronen op een machinetekst lijkt. ‘100 procent AI’ betekent dus dat elk stukje enkel het label ‘lijkt op AI’ kreeg, niet dat een machine ook de redeneerlijn heeft geproduceerd. Je kunt de inhoud volledig zelf uitdenken, een model alleen de puntjes op de i laten zetten en tóch als volbloed machine van de weegschaal stappen. Desondanks behandelen we die kans als vonnis; in Oudewater woog men tenminste nog het hele lichaam.
Intussen doet deze naming and shaming zijn werk. Kamerleden worden publiekelijk aan de schandpaal genageld, en essayisten worden gecanceld terwijl hun stuk kennelijk goed genoeg was voor een nominatie. Wat er precies aan die teksten mankeerde, komt niet eens meer ter sprake, terwijl de een al het denkwerk uitbesteedde en de ander AI slechts als redacteur gebruikte.
Mij is het om het even of een politicus een taalmodel gebruikt. Ik wil weten of een tekst vertegenwoordigt waar iemand voor staat, en of die persoon ervoor kan instaan. Daarvoor moet je die teksten eerst en vooral bloedserieus nemen. In het debat dat De Groene beschrijft, werd daarentegen vrijwel niemand geïnterrumpeerd. Best gek. Vraag door, en het blijkt vanzelf of iemand zijn eigen woorden begrijpt. Dat is een stuk lastiger dan AI bestrijden met – hoe ironisch – een gebrekkige AI-tool, maar het is wél het werk van een volksvertegenwoordiger (en eerlijk gezegd ook dat van een journalist).
Het echte risico ligt ergens anders: als taalmodellen het denken en spreken van politici ongemerkt kleuren en sturen, kunnen techbedrijven van buiten Europa beïnvloeden welke denkrichtingen hier belangrijk worden gevonden. Maar dat kan geen detector in kaart brengen. Beter richten we ons daarom op veilige, soevereine modellen, en regels die daarop toezien. Dáár hoort het gesprek over te gaan, en Kamerleden tot de brandstapel veroordelen omdat ze een tool gebruiken, leidt daar alleen maar van af.
De Heksenwaag is trouwens tegenwoordig een museum. Voor een paar piek laat je je wegen en krijg je een Certificaet van Weginghe mee: te zwaar voor de bezemsteel, dus geen heks. Bezoekers grinniken om het achterhaalde bijgeloof. Over een paar jaar grinniken we hopelijk om onszelf.
Bij Google kan je nu zelf aangeven welke nieuwsbronnen jij vaker wil zien in je zoekresultaten.Meer informatie