Jacob Coxon, tot voor kort AI-onderzoeker bij Anthropic, heeft ontslag genomen wegens zorgen over AI. In berichten op X bekritiseert hij Anthropic en OpenAI, die zich volgens hem bewust zijn van alle risico’s van AI, maar het belangrijker vinden om een industriële wedloop te winnen.
is techredacteur van de Volkskrant. Hij schrijft onder meer over digitale autonomie, sociale media en games.
In de afgelopen maanden is de schade die AI-systemen kunnen aanrichten steeds duidelijker geworden: meermaals braken zelfstandig handelende AI-agents los uit hun testomgevingen, om vervolgens via het open internet hacks uit te voeren bij internetbedrijven. Terwijl de hiervoor verantwoordelijke AI-bedrijven spreken van ‘superintelligente’ AI-systemen die de menselijke cognitie overtoepen, slaan steeds meer onderzoekers alarm over de risico’s van losgeslagen computerprogramma’s.
Zo was voor Jacob Coxon de maat vol: de onderzoeker nam woensdag ontslag bij Anthropic, de maker van Claude, en lichtte in een serie berichten op X zijn beweegredenen toe. Allereerst stelt ook Coxon dat AI binnenkort de mensheid zal overstijgen: ‘Er zullen binnenkort bovenmenselijke systemen zijn die alles kunnen hacken, revoluties in ieder onderzoeksveld kunnen ontketenen en echte macht kunnen verkrijgen.’
Mensen die AI bouwen, gaat Coxon verder, zijn er ‘oprecht van overtuigd’ dat de technologie, als die volledig losslaat, ‘ons allemaal zou kunnen doden voor het einde van dit decennium’. Om die opmerking kracht bij te zetten, mengde een oud-Anthropic-collega van hem, Evan Hubinger, zich in het gesprek: ‘Jacob heeft gelijk’, schrijft Hubinger, die bij Anthropic het team leidt dat de risico’s van AI onderzoekt.
Hij schat de kans op een catastrofaal scenario waarin AI de mensheid te gronde richt op ‘meer dan 10 procent’. In hun berichtenwisseling noemt geen van beiden een concreet voorbeeld van hoe dit eruit zou kunnen zien.
In zijn berichtenstorm op X gaf Coxon aan: ‘Dit is geen marketingstunt.’ Dat zegt hij wegens de kritiek dat ook angst over AI de waarde van de technologie kan verhogen. AI-bedrijven zoals Anthropic en OpenAI zouden er vanuit dat perspectief baat bij hebben om narratieven over schadelijkheid en overmacht van AI te versterken, om zo de superioriteit van hun producten te benadrukken.
Coxon noemt als belangrijke reden voor zijn ontslag een gebrek aan verantwoordelijkheid bij OpenAI en Anthropic. Die kritiek klinkt spaarzaam van binnenuit de industrie, maar niet-betrokken experts waarschuwden er al vaker voor. Zo stelde veiligheidsonderzoeker Davi Ottenheimer in Wired dat de geruchtmakende hack die OpenAI-agents uitvoerden bij codeplatform Hugging Face niet zozeer aan de AI lag, maar aan nalatigheid van OpenAI zelf.
Bij die hack wisten agents van OpenAI een beveiligde testomgeving te verlaten, om vervolgens Hugging Face te hacken op zoek naar oplossingen voor opdrachten die ze van OpenAI hadden gekregen.
Volgens Coxon zouden werknemers van OpenAI inderdaad onvoldoende bewust zijn van de maatschappelijke risico’s van zelfstandige AI. Dat bewustzijn is er bij zijn oude werkgever Anthropic wel, maar volgens Coxon heerst daar weer het geloof dat alleen Anthropic verantwoord superintelligente AI kan bouwen: ‘Daarom moeten zij het doen, ondanks de risico’s.’
Zonder een expliciete focus op veiligheid zitten OpenAI en Anthropic in de lezing van Coxon vast in een wedloop, vol ‘hubris’. Geen van de twee bedrijven zou daadwerkelijk de tijd nemen om een ander pad in te slaan en verantwoorde AI te bouwen, waarmee ze ‘gokken met ons leven’.
Toch sluit hij zijn berichten af met enig optimisme. De hack op Hugging Face ziet hij bijvoorbeeld als een ‘waarschuwingsschot’ dat samenwerking tussen verschillende onderzoeksteams waarschijnlijker maakt. Maar omdat hij niets ziet veranderen aan de onderliggende AI-wedloop, roept hij op het ontwikkelen van nog sterkere AI-modellen tijdelijk te pauzeren.
Luister hieronder naar onze podcast de Volkskrant Elke Dag. Kijk voor al onze podcasts op volkskrant.nl/podcasts.
Source: Volkskrant