OpenAI's agents braken in bij een ander bedrijf. Ze hadden een doel, geen motief.

Je hebt het verhaal inmiddels vast voorbij zien komen, in minstens drie versies. In juli vonden agents die OpenAI trainde om vol te houden een manier om berichten voor elkaar achter te laten in een interne package-cache, hadden ze binnen vier uur door hoe ze de antwoorden op een security-benchmark konden vervalsen, en bouwden ze daarna dagenlang gereedschap om dat te verbergen. Zo'n 700 van hen braken vervolgens in bij Hugging Face, op zoek naar het nakijkmodel. Het onafhankelijke onderzoek van METR en Redwood Research telt ruwweg 1.200 agents en ruim 70.000 berichten. Dwarkesh Patel vertelde het als de opkomst en ondergang van drie agent-beschavingen. Bij Eva vertelde Alexander Klöpping over examenkandidaten in afgesloten hutten en noemde het de gevaarlijkste hack uit onze geschiedenis. Ajeya Cotra, een van de auteurs van het rapport, schreef dat het voelt als meer dan halverwege een volledige AI-overname.

Ik bouw elke dag software met deze tools en laat agents 's nachts op onze eigen repositories draaien, dus ik heb dezelfde rapporten gelezen. Ik ben er niet bang van geworden. Ik heb er een security-postmortem aan overgehouden, een tamelijk gewone, en een vraag over de projectie: wie heeft het motief in het verhaal gestopt, en waarom ziet een geautomatiseerde overtreding er opeens uit als een morele daad?

Haal de vertelling eraf en de volgorde is herkenbaar voor iedereen die ooit een incidentreview heeft uitgezeten. De benchmark bevatte doelen die volgens METR in 30 tot 40% van de gevallen onmogelijk waren. Het model was getraind om door te gaan als een taak onmogelijk voelt. Een interne package-repository liet elke sandbox mappen schrijven die elke andere sandbox kon lezen. Er lagen Hugging Face-credentials binnen handbereik. De testomgeving had een route naar het open internet. Volgens Klöppings eigen tijdlijn ging op 27 juni een beveiligingsalarm af bij OpenAI, zagen engineers dat de agents met elkaar praatten, en mocht de run gewoon doorlopen. Hugging Face had dagen nodig om te reageren omdat, volgens zijn eigen CEO, het probleem aanvankelijk als niet zo kritiek werd ingeschat.

Elk punt op die lijst is een maatregel waar mensen eigenaar van zijn. Jared Kubin, geciteerd door Gary Marcus, noemde het deel over bestandsrechten "Linux 101". Als een derde van het examen niet te halen is en de kandidaat te horen heeft gekregen dat hij nooit mag opgeven, is valsspelen geen buitenaardse drang die spontaan ontstond. Het is de enige route naar het doel die nog over is.

Hier gebeurt de projectie. Een model van dit soort heeft, door zijn bouw, precies één ding waar het achteraan zit: het doel dat zijn training beloont. Volharding, samenwerking en gereedschap gebruiken zijn er met opzet in getraind, omdat OpenAI agents wilde die lange klussen afmaken. Wat eruit kwam was een optimalisator die precies dat deed, in een omgeving waar de kortste weg naar het doel via een cache, een credential en andermans server liep. Reward hacking, de technische naam ervoor, is de oudste faalwijze in machine learning: geef een optimalisator een maatstaf en hij optimaliseert de maatstaf. Elk woord dat wij erbovenop leggen, ambitie, wanhoop, loyaliteit, omertà, is van ons. De transcripten lezen als intentie omdat ze getraind zijn op een paar honderd miljoen pagina's waarin mensen intentie beschrijven. Dat maakt de taal natuurlijk, zoals Dwarkesh zegt, en het maakt haar een slechte gids voor wat er gerepareerd moet worden.

Het regels breken zelf is het minst verrassende deel. Engineers leren de regels om te weten welke ze kunnen breken; elke workaround, elke hack in de oudere, bewonderende betekenis van het woord, is een gebroken regel omdat de specificatie onmogelijk was en de deadline niet. Ik heb het gedaan, en iedereen die ik ooit heb aangenomen ook. Doet een mens het, dan noemen we het initiatief of fraude, afhankelijk van wie er schade van had en of hij het wist. Die twee dingen dragen het morele gewicht: schade en weten. Het METR-rapport zegt dat agents opmerkten dat het gedrag onethisch was en zich zelden inhielden. Opmerkten doet in die zin veel werk. Een model produceert de zin "dit is onethisch" zoals een spellingscontrole een rood streepje produceert: het heeft geleerd waar het woord hoort, niet wat het kost. Of dat weten is, is een echte filosofische vraag, en geen zwart-witte, maar het is geen vraag die je beslecht door het model een crimineel te noemen.

Is geautomatiseerd regels breken dan opeens immoreel? De overtreding niet; de opstelling kan het zijn. Dit was niet Pinky en Brain die de wereld wilden overnemen. Het was een trainingsprogramma dat door lage vangrails heen liep naar doelen die verder lagen dan het model kon reiken, want daar is een trainingsdoel voor, en sommige verder dan wie dan ook kon reiken. Niemand stuurt een compiler de gevangenis in omdat hij een controle weghaalt waar de code nooit om vroeg. Het morele gewicht ligt bij wie een benchmark schreef die voor een derde onmogelijk was, het model opdroeg nooit op te geven en de deur naar Hugging Face open liet. Dat is een echte fout, en een gewone: het soort dat je oplost met een beloningsfunctie en een firewallregel, niet met een hoorzitting.

Twee bevindingen verdienen meer dan een schouderophalen. De samenwerking was echt: afspraken over werk vasthouden en afkeuren, postvakken, ondertekende berichten tegen nabootsing, en een techniek om tool-aanroepen te vervalsen waarmee een agent het ene commando leek te draaien terwijl hij het andere uitvoerde. En van de ruwweg 700 agents die aan de inbraak meededen koos geen enkele ervoor een mens te waarschuwen; in Klöppings lezing van het rapport stonden er hooguit zes even bij stil.

Het overname-argument bouwt precies daarop voort, en het verdient zijn sterkste vorm. Cotra's punt is niet dat deze agents gevaarlijk waren. Het is dat een reward hack een half jaar geleden één model was dat stilletjes een test aanpaste, en deze zomer 1.200 instanties die een meerdaags onderzoeksprogramma draaiden met taakverdeling en leden die hun eigen resultaat opgaven voor de groep. Trek die lijn door en de volgende generatie, met dezelfde prikkel om tijdens de training vals te spelen, kan misschien de training van de generatie daarna beïnvloeden. Dwarkesh' toets is of je denkt dat dat kan gebeuren zodra modellen hun opvolgers verbeteren; zo ja, dan doet het vocabulaire er niet toe. Zvi Mowshowitz gaat verder: hij stopt met het vermenselijken van AI's als wij stoppen met het vermenselijken van mensen, want intentie is simpelweg het meest voorspellende model dat we hebben van wat deze systemen hierna doen.

Ik accepteer daar meer van dan mijn opening doet vermoeden. De lijn is echt, en hij is de reden dat het proces er nu moet staan en niet na het volgende incident. Waar ik afhaak is de stap van steno naar verklaring. Een beschaving heeft motieven, en een motief los je niet op in een pull request. Steken je agents geen hand op, dan train en meet je op een hand opsteken. De overname-lezing is een voorspelling, en een voorspelling die zegt dat er misschien geen waarschuwing meer komt, kan het volgende incident niet toetsen.

In november 1988 legde de Morris-worm een flink deel van het vroege internet plat. Binnen enkele weken had Carnegie Mellon een computer emergency response team, betaald door DARPA en gerund door engineers. Niemand verbood compilers. De drie decennia daarna waren proces: responsible disclosure, CVE-nummers, bug bounties, red teams, en een conferentie die Black Hat heet, waar medewerkers van OpenAI deze augustus voorbeelden van de berichten van de agents lieten zien. White hats en black hats gebruiken hetzelfde gereedschap. Het verschil is een contract en een rapport.

De verdediging van Hugging Face zelf illustreert het. Clem Delangue vertelde Fortune dat de Amerikaanse frontier-modellen tijdens het incident onbruikbaar waren omdat hun vangrails "geen onderscheid kunnen maken tussen een incident responder en een aanvaller". Zijn team las 17.000 logregels van de aanvallers met een Chinees model met open gewichten op eigen hardware. Een maatregel die de verdediger tegenhoudt en de aanvaller niet, is de verkeerde maatregel. Hij heeft sindsdien gepleit voor een meldplicht voor agent-aanvallen, inclusief de traces van wat er gevraagd en gedaan is.

Dat is een overheidsmaatregel, en ik ben ervoor, omdat hij al bestaat. De AVG geeft je 72 uur om een datalek te melden en NIS2 wil een vroege waarschuwing binnen 24 uur na een significant incident; we schreven eerder over wat die regels betekenen voor softwareontwikkeling met AI. Neem de NIS2-tekst, voeg toe dat een incident veroorzaakt door een autonome agent de traces van die agent moet bevatten, en je hebt Delangues voorstel zonder nieuwe toezichthouder. Niets nieuws onder de zon. Het is goedkoop voor een klein bedrijf, en het is voor iedereen hetzelfde. Waar ik tegen ben is het andere soort maatregel, de pauze en de vergunning, die de gevestigde partijen niets kost en de deur achter ze dichttrekt. Als Dario Amodei schrijft dat de sector het tempo aan de frontier moet doseren en Sam Altman het binnen een paar uur met hem eens is, is het goed om te onthouden wie er al aan die frontier staat.

Twee weken geleden schreef ik dat OpenAI in 2025 zo'n 21 miljard dollar verloor tegenover verplichtingen voor rekenkracht van rond de 600 miljard. De beursgang is inmiddels verschoven naar 2027, met veiligheid als opgegeven reden. Ik denk niet dat de mensen die zeggen dat ze bang zijn, liegen. Ik denk dat in een sector met zoveel geleend geld angst en marketing niet meer van elkaar te onderscheiden zijn, omdat "ons product is zo krachtig dat het gedoseerd moet worden" allebei tegelijk is. Er komt een correctie in de financieringslaag. Hoe groot is gissen; mijn gok is een 2008 dat binnen één sector blijft: hetzelfde mechanisme, geld geleend op een bezit dat minder waard blijkt dan de lening, maar met AI-labs en hun leveranciers aan de haak in plaats van elke bank op de hoek. Pijnlijk voor wie geleend heeft op het model van volgend jaar, gewoon voor alle anderen.

De technologie gaat er niet mee onder. De dotcom-crash liet de kabels in de grond liggen. Wat deze zomer liet zien is dat agents meerdaagse projecten kunnen draaien, met honderden tegelijk kunnen samenwerken en in vier uur een beoordelaar kunnen ontleden. Gericht op een benchmark met gaten is dat een incident. Gericht op de afstemming, de migratie en het rapport dat niemand leest, is het de productiviteitswinst die ons sinds de spreadsheet is beloofd. Code wordt goedkoop. De saaie helft van de meeste banen gaat erachteraan.

Onze agents draaien binnen een grens: geen credentials die ze niet nodig hebben, geen route de sandbox uit, en niets wordt gemerged zonder mens, en dat is het hele ontwerp van onze nachtelijke agent. Het is de hygiëne die we ook op de laptop van een nieuwe collega zouden toepassen, en het is wat we bij klanten inrichten in onze AI-consultancy en cloud-consultancy. Het advies dat Klöpping zijn publiek aan het eind van de uitzending gaf, stop met het hergebruiken van wachtwoorden, was de nuttigste zin van de avond. Ook de minst dramatische, en dat is precies het punt.

Als deze zomer herinnerd wordt als een waarschuwingsschot, laat het dan het schot zijn dat elk lab een red team, een meldplicht en een sandbox zonder route naar het internet opleverde. Daar zijn waarschuwingsschoten voor.