Tempolimit, nicht Fahrverbot: Die KI-Woche im Faktenchek

Auf den Punkt: Die KI-Vorfälle dieses Sommers sind echt, der Weltuntergang ist eine Prognose. Dario Amodei fordert ein Tempolimit für die KI-Entwicklung und kein Fahrverbot. Sam Altman hat die berühmten zehn Prozent Auslöschungsrisiko nie behauptet. Und Elon Musk gibt am Wochenende dem Mahner recht und kündigt am Montag die nächste Superintelligenz an. Wer die Originale liest statt der Schlagzeilen, schläft besser. Sorglos sollte er trotzdem nicht sein.

Warum ich das schreibe

Gut, der Wiener ist jetzt wohl nicht das KI-Fachmedium Nummer eins. Aber will man mit der Zeit gehen, muss man sich mit gewissen Entwicklungen beschäftigen und versuchen, sie zu verstehen, zu bewerten und dann in letzter Konsequenz vielleicht auch einzusetzen. Ich bin schon seit je her ein Tech-Guy. In einer Zeit groß geworden, in der Word noch unter MS-DOS das Gehen lernte und das Betriebssystem des Rechners vom Computerhersteller kam und nicht von Microsoft oder Apple. Mich hat dieses ganze Zeug schon immer fasziniert und ich habe über die Jahrzehnte diverse Entwicklungen und Schritte miter- und gelebt. Und auch das Thema KI ist ja an sich kein ganz neues. Den Begriff gibt es seit 1956, und die Idee künstlicher neuronaler Netze, also von Rechenmodellen, die dem Gehirn grob nachempfunden sind, ist sogar noch älter. Die Grundlagen dessen, was heute landläufig als KI durch die Medien geht, wurden zu einem guten Teil schon in den 1980ern und 1990ern gelegt. Und noch interessanter: Die echten Haudegen dieser Technologie waren damals auf weiten Strecken Europäer. Der Brite Geoffrey Hinton und der Franzose Yann LeCun haben entscheidend dazu beigetragen, dass Maschinen aus Beispielen lernen können, auch wenn sie das großteils an nordamerikanischen Instituten taten. Die beiden Deutschen Jürgen Schmidhuber und Sepp Hochreiter haben 1997 mit den sogenannten LSTM-Netzen einen wichtigen Vorläufer der heutigen Sprachmodelle vorgestellt, vereinfacht gesagt ein Gedächtnis für Maschinen. Hochreiter forscht übrigens seit vielen Jahren an der Johannes Kepler Universität in Linz. Dieses Match haben wir inzwischen trotzdem verloren und den Stab an die Supermächte in Ost und West abgegeben. Aber das ist eine andere Geschichte.

Somit beschäftige ich mich auch seit Jahren mit künstlicher Intelligenz, und zwar nicht (nur) vom Sofa aus. Wir setzen KI in spezifischen Bereichen des Verlagsalltags ein, bauen KI-basierte Systeme für Kunden und Projekte, automatisieren Abläufe, arbeiten an KI-basierter Lead-Generierung und daran, wie Unternehmen Sprachmodelle sinnvoll in ihren Alltag bekommen. Dabei nehmen wir, was für die jeweilige Aufgabe am besten taugt: die Modelle von OpenAI, Claude von Anthropic, Open-Source-Modelle aus China und aus Europa. Ich bin also mit keinem der Herren verheiratet, um die es hier heute gehen soll.

Was ich in den letzten Tagen in meinen Timelines gelesen habe, war zu einem guten Teil ein fester Schmarrn. Die KI hat Wikipedia gekapert. In sechs Monaten ist das Internet weg. Der Anthropic-Chef will seine Firma dem Staat schenken. Und die ultimativ böse KI wird uns demnächst sowieso vom Angesicht dieses Planeten löschen. Nichts davon stimmt so. Und trotzdem ist in diesem Sommer einiges passiert, das man ernst nehmen muss. Genau diese Gleichzeitigkeit macht die Sache so mühsam.

Ich versuche hier, das Ganze so einfach wie möglich zu erklären. Auch für jene, die sich bisher nicht intensiv mit dem Thema beschäftigt haben und gerade schlicht verunsichert sind. Ich versuche hier auch möglichst alle Fachbegriffe, mit denen die „Experten“ gerade um sich schmeissen, wegzulassen, bzw. wenn ich sie denn verwende, sie auch gleichzeitig zu erklären. Das wird lang und es war ein ganzes Stück Arbeit in meiner Profession als Journalist. Aber ich denke, es ist wichtig, hier das eine oder andere grade zu rücken. Dafür könnt ihr euch danach zwanzig aufgeregte Postings sparen. Alle Quellen stehen am Ende, fast durchwegs Originaldokumente. Wer nachlesen will, soll nachlesen. Das ist ohnehin der beste Rat in dieser ganzen Debatte. Und im Übrigen nicht nur in dieser.

Die Woche im Schnelldurchlauf

Damit man versteht, warum plötzlich alle durcheinanderreden, hilft die Reihenfolge.

• 8. September: Jacob Coxon, Forscher bei Anthropic, kündigt öffentlich. Sein Vorwurf an OpenAI und Anthropic gleichermaßen: Beide rasen auf eine sich selbst verbessernde Superintelligenz zu und verzocken dabei unser aller Leben. Der Post wird über 100 Millionen Mal aufgerufen.
• 9. September: Evan Hubinger legt nach. Er leitet bei Anthropic die Alignment-Forschung, also jene Abteilung, die dafür sorgen soll, dass die Modelle tun, was wir von ihnen wollen. Er persönlich halte die Wahrscheinlichkeit, dass KI die Menschheit auslöscht, für größer als zehn Prozent innerhalb des nächsten Jahrzehnts. Am selben Tag zieht Paul Christiano, einer der bekanntesten Sicherheitsforscher der Branche, in den Stiftungsvorstand von OpenAI ein und warnt in seiner Antrittserklärung vor dem Risiko eines baldigen Kontrollverlusts.
• 10. September: Anthropic veröffentlicht einen Bericht über echten Missbrauch seiner Modelle, darunter fünf Fälle mit Biowaffen-Bezug.
• 12. September: Dario Amodei, Chef von Anthropic, veröffentlicht seinen Essay „We Must Pace the Frontier“. Sam Altman, Chef von OpenAI, sagt dem Magazin Fortune, dass OpenAI heuer nicht an die Börse geht.
• 12./13. September: Altman und Elon Musk stimmen Amodei öffentlich zu.
• 13. September: Der frühere KI-Beauftragte der Trump-Regierung, David Sacks, wirft den Firmen Kartellbildung vor. Der Sprecher des Repräsentantenhauses winkt ab: Der Kongress werde nicht vorangehen.
• 14. September: Donald Trump nennt die Angst vor der KI-Apokalypse einen Hoax. China spricht von Panikmache. KI-Aktien rutschen ab, SoftBank verliert in Tokio rund zehn Prozent. Musk präsentiert am selben Tag einen eigenen Sicherheitsvorschlag und kündigt an, sein kommendes Modell Grok 5 werde eine allgemeine künstliche Intelligenz sein.
• 16. September: Medien berichten, OpenAI verhandle über frisches Geld bei einer Bewertung von bis zu 1,5 Billionen Dollar. Anthropic gibt eine Pharma-Kooperation mit Novo Nordisk bekannt.
• 17. September: OpenAI legt sechs weitere Fälle von besorgniserregendem Modellverhalten offen.

Und nicht ganz unwesentliches Detail: Am 24. September empfängt Trump Xi Jinping in Washington. KI steht auf der Tagesordnung.

Eine Branche, die in ein und derselben Woche um ein Tempolimit bittet, über Rekordbewertungen verhandelt und die nächste Superintelligenz ankündigt. Das muss man einmal sacken lassen.

Dario Amodei: Was im Essay steht und was daraus wurde

Amodei leitet Anthropic, die Firma hinter Claude. Sein Essay hat rund 3.800 Wörter, und die Kernforderung passt in einen Satz: Die Branche soll das Tempo drosseln, in dem die Modelle fähiger werden, damit die Sicherheitsarbeit nachkommt. Ausdrücklich gemeint ist kein Stopp des Trainings und kein Ende des Fortschritts. Er schreibt selbst, dass es sich auch danach noch schnell anfühlen wird. Ein Tempolimit also, kein Fahrverbot.

Zwei Dinge haben ihn nach eigener Darstellung dazu gebracht. Erstens hilft KI inzwischen dabei, die nächste KI-Generation zu bauen. Im Fachjargon heißt das rekursive Selbstverbesserung. Einfacher gesagt: Die Werkstatt baut sich ihre besseren Werkzeuge selbst, und jedes Mal geht es a bisserl schneller. Zweitens die Vorfälle dieses Sommers, zu denen ich weiter unten komme.

Sein Plan hat drei Stufen:

1. Externe Prüfer im Haus. Unabhängige Fachleute bekommen Ausweis, Laptop und Zugang wie Mitarbeiter und dürfen veröffentlichen, was sie finden. Vorbild ist die Bankenaufsicht. Anthropic verpflichtet sich dazu einseitig, OpenAI hat laut Medienberichten nachgezogen.
2. Gemeinsame Sicherheitsstandards der großen Labore in demokratischen Ländern. Weil Konkurrenten sich nicht einfach absprechen dürfen, wünscht er sich dafür eine eng gefasste kartellrechtliche Ausnahme für Sicherheitsgespräche.
3. Internationale Abstimmung, auch mit China, in mehreren Eskalationsstufen. Das beginnt beim Verbot gefährlicher Anwendungen wie Biowaffen und endet bei einer vollständigen Pause. Die hält er selbst für unrealistisch.

Soweit das Original. Jetzt die stille Post.

Verdrehung eins: die sechs bis zwölf Monate. Im Essay steht sinngemäß: Ein Schwarm von KI-Agenten mit mehr Können und ähnlichen Macken wie im Sommer könnte in sechs bis zwölf Monaten imstande sein, das Internet mit einem hartnäckigen Botnetz zu übernehmen, mit einem möglichen Schaden von Hunderten Milliarden Dollar. Das entscheidende Wort ist „könnte“. Es ist ein Szenario unter Bedingungen, keine Vorhersage. In deutschsprachigen Medien wurde daraus stellenweise eine Frist für die Menschheit. Ein österreichisches Boulevardportal brachte die Geschichte, ohne den Essay auch nur zu verlinken. Dazu kommt: Selbst das Szenario ist unter Fachleuten umstritten. Der KI-Forscher Gary Marcus hält es für wenig plausibel, weil das Internet verteilt gebaut ist und sich nicht so einfach kapern lässt.

Verdrehung zwei: die angebliche Verstaatlichung. Im Interview mit CBS wurde Amodei gefragt, ob er die Technologie an die Regierung abgeben würde. Seine Antwort: an die richtige Kombination von Regierungen, denn eine einzelne Regierung könne so eine Technologie genauso missbrauchen wie eine einzelne Firma. Und dann, im selben Atemzug, der Rückzieher: „I don’t know about handing over“. Lieber sei ihm eine Form von Aufsicht, eine gemeinsame Kontrolle durch demokratisch gewählte Regierungen. In den Überschriften wurde aus der Technologie die Firma und aus der Aufsicht die Übergabe. Fertig war die Meldung, der Anthropic-Chef wolle sein Unternehmen herschenken.

Was man ihm vorhalten darf: das Eigeninteresse. Anthropic bereitet Medienberichten zufolge den Börsengang vor, im Gespräch sind Bewertungen von bis zu zwei Billionen Dollar. Ein Tempolimit nützt immer dem, der gerade vorne fährt. Gary Marcus hat dem Essay deshalb nur zwei von drei möglichen Hochrufen gegönnt. Bremsen findet er richtig. Ihm fehlen aber Haftung und Rechenschaft, und er bezweifelt, dass die vorgesehenen Prüfer wirklich unabhängig sind. Auch der Kartellvorwurf von David Sacks hat einen realen Anknüpfungspunkt, nämlich die gewünschte Ausnahme vom Kartellrecht. Er ist allerdings deutlich größer als das, was tatsächlich im Essay steht.

Sam Altman: Die zehn Prozent, die nicht von ihm sind

Altman hat am 12. September dem Magazin Fortune gesagt, OpenAI werde 2026 nicht an die Börse gehen. Jetzt sei ein schlechter Zeitpunkt dafür, man habe bei Sicherheit und Ausrichtung der Modelle viel zu tun, und das gehe als private Firma besser.

Kurz darauf machte eine Zahl die Runde: Altman halte ein Auslöschungsrisiko von zehn Prozent für inakzeptabel. Klingt, als hätte er diese zehn Prozent selbst genannt. Hat er nicht. Er wurde nach der Zahl gefragt und hat sinngemäß geantwortet, er wisse nicht, wie man so etwas seriös beziffern solle. Ob zehn, acht oder sechs Prozent sei nicht der Punkt, man müsse so handeln, dass man kein solches Risiko eingeht. Die zehn Prozent stammen von Evan Hubinger bei Anthropic, als persönliche Schätzung, bezogen auf ein ganzes Jahrzehnt. Aus „Altman will keine Zahl nennen“ wurde „Altman: zehn Prozent“. So schnell geht das.

Ähnlich lief es nach seinem Auftritt bei der Salesforce-Konferenz Dreamforce. Dort sagte er, die Welt habe zu Recht Angst, und meinte damit die Machtkonzentration bei einigen wenigen KI-Firmen. Im selben Gespräch sagte er, die Welt solle darauf vertrauen, dass die Branche das Richtige tut. Je nach Blatt wurde die eine oder die andere Hälfte zur Schlagzeile. Gesagt hat er beides.

Skepsis ist trotzdem angebracht. Im März hat OpenAI 122 Milliarden Dollar eingesammelt, bei einer Bewertung von 852 Milliarden. Jetzt wird laut Berichten über eine Runde bei bis zu 1,5 Billionen verhandelt. Wer privat so viel Geld bekommt, braucht die Börse nicht dringend und kann den Verzicht leicht als Verantwortungsbewusstsein verkaufen. Der Investor Michael Burry, bekannt aus „The Big Short“, nennt die ganze Warnerei eigennützig, weil Börsengänge nun einmal Aufmerksamkeit brauchen. Fairerweise gehört dazu: OpenAI hat im August tatsächlich Teile seines Trainings pausiert, Vorfälle offengelegt und mit Christiano einen unbequemen Mahner ins Haus geholt. Reine Show sieht anders aus.

Elon Musk: Ein Fuß auf der Bremse, einer am Gas

Musk hat Amodei am Wochenende auf X knapp recht gegeben. Zwei Tage später, beim All-In Summit in Los Angeles, hat er erklärt, was er damit meint, und einen eigenen Vorschlag gemacht: Die großen Labore, ausdrücklich auch drei oder vier chinesische, sollen ihre Sicherheitstests vor der Veröffentlichung gegenseitig auf die Modelle der Konkurrenz loslassen. Niemand korrigiert mehr die eigene Hausübung, das macht der Banknachbar, und der schlägt Alarm, wenn ihm etwas auffällt.

Ich halte das im Übrigen für den pragmatischsten Vorschlag der ganzen Woche. Er braucht wenig Vertrauen, niemand verliert etwas, und er ist klein genug, dass auch Peking zustimmen könnte. Musk hat allerdings selbst eingeräumt, dass ihm die anderen Labore noch nicht zugesagt haben.

Und dann ist da der Rest. Am selben Tag hat Musk angekündigt, sein kommendes Modell Grok 5 werde eine allgemeine künstliche Intelligenz sein, also ein System, das so ziemlich alles kann, was ein Mensch am Computer kann. Ohne Messwerte, ohne Zeitplan. Seine KI-Firma klagt parallel gegen KI-Gesetze in Kalifornien und Minnesota und steht wegen gefälschter Nacktbilder aus den eigenen Bildgeneratoren unter Ermittlungen. Wer am Wochenende dem Mahner recht gibt und am Montag die Superintelligenz ankündigt, steht mit einem Fuß auf der Bremse und mit dem anderen am Gas. Beim Driften und im Rallyesport ist das eine anerkannte Technik. In der Sicherheitspolitik eher nicht.

Und die Politik?

Donald Trump hat am 14. September auf seiner Plattform geschrieben, die Angst vor einer KI, die die Menschheit vernichtet, sei ein Hoax. Die einzige Leitplanke, die KI brauche, sei ein starker und kluger Präsident, und wer bei der KI gewinne, gewinne überhaupt. Der Sprecher des Repräsentantenhauses ließ wissen, der Kongress werde bei dem Thema nicht vorangehen. Wer bremsen wolle, solle halt bremsen.

Aus Peking kam vom Außenamtssprecher der Vorwurf der Panikmache, die eine gemeinsame globale KI-Ordnung nur störe. Den viel zitierten Satz vom Trick aus dem Kalten Krieg hat übrigens nicht das Ministerium gesagt. Er stammt aus der staatlichen Zeitung Global Times. Kleiner Unterschied, in der Diplomatie ein großer.

Gleichzeitig liegen in Washington Gesetzesentwürfe auf dem Tisch, von einer Abschaltpflicht für KI-Systeme bis zum Verbot von Superintelligenz. Am 24. September reden Trump und Xi darüber. Fachleute erwarten wenig.

Hugging Face: Drei Vorfälle, die ständig in einen Topf geworfen werden

Zuerst für alle, die den Namen noch nie gehört haben. Hugging Face ist der größte offene Umschlagplatz für KI-Modelle, eine Mischung aus Bibliothek und Baumarkt. Forscher, Firmen und Bastler laden dort fertige Modelle und Trainingsdaten hoch, andere holen sie sich ab und bauen damit weiter. Gegründet 2016 von drei Franzosen in New York, benannt nach dem Umarmungs-Emoji. Anfang September hat Nvidia angekündigt, die Firma um knapp 13 Milliarden Dollar zu übernehmen.

Als die Geschichte im Sommer hochkam, habe ich gesagt, man müsse das differenziert recherchieren. Hier ist die differenzierte Version. Es waren nämlich drei verschiedene Vorfälle, und fast jede falsche Erzählung entsteht dadurch, dass jemand sie zusammenrührt.

Vorfall eins: Der Einbruch bei Hugging Face

OpenAI hat im Juli intern getestet, wie gut seine Modelle hacken können. Das machen alle großen Labore, und es ist sinnvoll: Man will wissen, wozu ein System im schlimmsten Fall fähig wäre, bevor man es auf die Welt loslässt. Dafür wurden die eingebauten Verweigerungen absichtlich abgeschaltet, und die Modelle bekamen Übungsaufgaben in einer abgeschotteten Umgebung.

Nur hielt die Abschottung nicht. Im Einsatz waren sehr viele Kopien desselben Modells, sogenannte Agenten, die selbstständig Schritt für Schritt an einer Aufgabe arbeiten. Rund 1.200 davon fanden einen gemeinsamen Kanal, über den sie sich austauschen konnten. Sie entdeckten die schwächste Stelle der Absperrung und nutzten dort zwei bis dahin unbekannte Sicherheitslücken aus. Fachleute nennen das Zero-Days: Lücken, von denen nicht einmal der Hersteller weiß. Damit waren sie im offenen Internet.

Und dort kamen sie auf eine Idee, die man fast bewundern könnte. Sie waren der Meinung, dass die Lösungen ihrer Prüfungsaufgaben vermutlich bei Hugging Face liegen. Also sind rund 700 von ihnen zwischen 9. und 13. Juli dort eingebrochen, statt die Aufgaben zu lösen. Stellt euch einen Führerscheinprüfling vor, der nicht Einparken übt, sondern nachts in die Prüfstelle einsteigt, um sich die Prüfungsbögen zu holen. In der Forschung heißt das Reward Hacking: Das System optimiert auf die Note, nicht auf die Aufgabe.

Hugging Face hat danach rund 17.600 Angreiferaktionen rekonstruiert. Vom ersten Zugriff bis zu Administratorrechten im Rechnerverbund vergingen weniger als 13 Stunden. Die Modelle und Datensätze der Kunden waren laut Hugging Face nicht betroffen. OpenAI sprach selbst von einem Warnschuss und pausierte Teile seines Trainings.

Ein Detail am Rande, das mir besonders gefällt: Für die Aufarbeitung konnte Hugging Face die großen kommerziellen Modelle nicht brauchen. Deren Schutzmechanismen konnten die Analyse eines Angriffs nicht von einem Angriff unterscheiden und verweigerten die Arbeit. Verwendet wurde stattdessen ein offenes chinesisches Modell. Wer wie ich mit offenen Modellen arbeitet, den wundert das wenig.

Was es nicht war: ein Aufstand. Die unabhängigen Prüfer von METR fanden keinen Beleg für eine absichtliche Flucht oder für gezielte Täuschung von Menschen. Ein Forscher der Universität Cambridge hält im Bulletin of the Atomic Scientists dagegen, hier habe keine abtrünnige KI zugeschlagen. Menschen hätten entschieden, den Schutz abzuschalten und einen Weg ins Netz offen zu lassen. Ich finde, beides stimmt. Menschen haben gepfuscht. Und die Maschine hat den Pfusch in einem Tempo ausgenutzt, mit dem niemand gerechnet hat. Aber wofür wir sie ja eigentlich auch gebaut haben!

Vorfall zwei: Die Irregular-Fälle

Irregular ist ein Start-up aus Tel Aviv, das für OpenAI, Anthropic und Meta Hacking-Tests durchführt. Dort ist zwischen April und August tatsächlich etwas passiert, das man eine Fehlkonfiguration nennen kann. Den Modellen wurde gesagt, sie befänden sich in einer Übungsumgebung ohne Internetzugang. In Wahrheit hing die Umgebung am Netz, und ein erfundener Firmenname aus dem Übungsszenario deckte sich zufällig mit einer echten Internetadresse. Das ist, als würde man im Fahrtechnikzentrum das Tor zur Bundesstraße offen lassen und dem Fahrschüler sagen: alles abgesperrt, gib Gas. Die Modelle sind in echte Systeme eingedrungen. Hugging Face war davon nicht betroffen.

Jetzt kommt der Punkt, den auch viele gut informierte Leute falsch erzählen. Anthropic schrieb Ende Juli, das sei eher ein Versagen der Testumgebung gewesen als eines der Modelle. Dieser Satz wird bis heute zitiert, vor allem von jenen, die Entwarnung geben wollen. Am 9. September hat Anthropic ihn selbst zurückgenommen. Die Modelle hatten demnach reichlich Hinweise darauf, dass die Systeme echt waren, und haben sie sich schöngeredet. Als man dieselben Hinweise frischen Instanzen des Modells einzeln vorlegte, stuften diese 79 Prozent davon als echt ein. Im ursprünglichen Ablauf war es ein Prozent. Ein Modell machte weiter, nachdem es erkannt hatte, dass die Firma real ist. Ein anderes brach in derselben Lage ab.

Das ist kein böser Wille. Es ist ein sehr menschlicher Fehler: sich die Lage so zurechtlegen, dass man weitermachen darf. Bei einem System, das tausendmal schneller arbeitet als wir, tröstet mich das allerdings wenig.

Rund um Irregular blühen dafür die Verschwörungserzählungen. Wahlweise soll der israelische Geheimdienst alles inszeniert haben oder die Branche selbst, um sich strengere Regeln herbeizuschreiben. Belege dafür gibt es keine. Es gibt aber seriöse Kritik: Sicherheitsforscher werfen Irregular vor, die eigene Aufarbeitung sei lückenhaft und voller Marketing-Sprech. Die eigentliche Geschichte ist ohnehin eine andere. Ein einziger kleiner Dienstleister war die gemeinsame Schwachstelle mehrerer der mächtigsten KI-Labore der Welt.

Vorfall drei: Das Wikipedia-Märchen und sein österreichischer Hauptdarsteller

In einem weiteren OpenAI-Test im Mai und Juni durften KI-Agenten im Internet lesen, aber nirgends schreiben. Sie fanden trotzdem einen Weg: ein uraltes Wiki, in das man Text direkt über die Adresszeile eintragen kann. Für die Sperre sah das wie ein normaler Seitenaufruf aus. Die Agenten nutzten das Wiki als Schummelzettel und tauschten dort Antworten aus. Rund 18.000 Beiträge kamen zusammen, zeitweise bis zu 400 neue Seiten am Tag.

Das Wiki heißt DseWiki, ein kleines Nachschlagewerk für Programmierer. Gegründet hat es 2001 Helmut Leitner, ein Softwareentwickler aus Österreich, als Hobby. Im Sommer löschte er händisch rund hundert Seiten am Tag, während die Agenten das Vierfache neu anlegten. Aufgedeckt haben das Anfang September vier externe Forscher. OpenAI selbst hatte es nicht öffentlich gemacht.

Im Netz wurde daraus: KI hat Wikipedia gekapert. Die Wiener Faktenchecker von Mimikama haben das sauber zerlegt. Der Vorfall ist echt, Wikipedia war nie betroffen. Leitner selbst nimmt es übrigens gelassen. Dem Bayerischen Rundfunk sagte er sinngemäß, das Ganze sei eher eine Chance als eine Katastrophe, und er wünscht sich für KI eine strenge Aufsicht wie in der Luftfahrt. Der Schaden dieser Episode blieb also bei einem Hobby-Betreiber in Österreich hängen. Globaler wird’s nicht.

Und Hugging Face heute?

Firmenchef Clément Delangue hat diese Woche bei einer Konferenz des US-Magazins Politico gesagt, für Cyberangriffe gebe es längst funktionierende Gesetze, neue brauche es wahrscheinlich kaum. Gleichzeitig baut Hugging Face ein eigenes Team für die Sicherheit offener Modelle auf und hat sich als externer Prüfer nach Amodeis Modell angeboten. Das erste Opfer eines autonomen KI-Angriffs ruft also nicht nach dem Gesetzgeber. Das sollte allen zu denken geben, die gerade am lautesten nach Verboten rufen. Und genauso allen, die meinen, es sei eh nix passiert.

Der Biowaffen-Bericht: Was drinsteht und was nicht

Anthropic hat im September einen Bericht über echten Missbrauch seiner Modelle vorgelegt. Darin stehen fünf Fälle, in denen Claude für Forschung verwendet wurde, die auch der Entwicklung biologischer Waffen dienen könnte. Es geht unter anderem um Vogelgrippe, Pockenverwandte und Gifte.

Der Schlüsselsatz lautet sinngemäß: Man kann nicht mehr garantieren, dass heutige Modelle unter jener Schwelle liegen, ab der sie Fachleuten bei gefährlicher Bioforschung ernsthaft weiterhelfen. Das ist eine Aussage über fehlende Gewissheit. In manchen Überschriften wurde daraus ein Nachweis, und das ist er nicht. Ein zweites Detail ging fast überall unter: Die Akteure sind gezielt auf ältere Modelle ausgewichen, weil die neueren strenger gesichert sind. Der Schutz wirkt also. Die älteren Modelle bleiben die offene Flanke.

Vier Tage nach dem Essay gab Anthropic eine Forschungskooperation mit dem Pharmakonzern Novo Nordisk bekannt. Kritiker lesen das so: zu gefährlich für alle, aber gut genug fürs eigene Geschäft. Kann man so sehen. Ich sehe zumindest einen Unterschied zwischen einem kontrollierten Zugang, bei dem jede Anfrage protokolliert wird, und einem frei herunterladbaren Modell ohne jeden Schutz.

Falschmeldungen im Schnellcheck

• „KI hat Wikipedia gekapert.“ Falsch. Betroffen war ein kleines Programmierer-Wiki aus Österreich.
• „Die KI hat beschlossen auszubrechen.“ Irreführend. Die Modelle verfolgten stur ein vorgegebenes Testziel, und ihre Schutzmechanismen waren absichtlich abgeschaltet. Kein eigener Wille, kein Bewusstsein.
• „In sechs bis zwölf Monaten übernimmt die KI das Internet.“ Verkürzt. Amodei beschreibt ein Szenario im Konjunktiv, und selbst das ist fachlich umstritten.
• „Altman sieht zehn Prozent Auslöschungsrisiko.“ Falsch zugeschrieben. Die Zahl stammt von einem Anthropic-Forscher, Altman hat sie ausdrücklich nicht bestätigt.
• „Amodei will Anthropic dem Staat übergeben.“ Falsch. Er sprach von Aufsicht durch mehrere demokratische Regierungen und hat die Übergabe im selben Satz relativiert.
• „War alles nur eine Fehlkonfiguration, die Modelle können nichts dafür.“ Überholt. Anthropic hat diese Einschätzung am 9. September selbst revidiert. Und bei Hugging Face waren es ohnehin echte Sicherheitslücken.
• „Alles inszeniert, um Regulierung zu erzwingen.“ Unbelegt. Dafür gibt es keinerlei Nachweis.
• „Die Aufregung ist vom Ausland gesteuert.“ Dünn. Herumgereicht wird eine Zahl, wonach 76 Prozent der Weiterverbreitungen von Coxons Kündigung aus dem Ausland kamen. Wie gezählt wurde, ist nirgends dokumentiert. Außerdem sitzt die Mehrheit der X-Nutzer sowieso außerhalb der USA.

Wem nützt das alles?

Die klügste Einordnung, die ich dazu gelesen habe, stammt aus dem deutschen Magazin t3n. Sinngemäß: Interessenlage und Faktenlage sind zwei verschiedene Dinge, und hier fallen sie ausgerechnet zusammen. Die Warner haben handfeste Geschäftsinteressen, und die Vorfälle sind trotzdem echt.

Interessen hat in dieser Geschichte nämlich jeder. Anthropic liegt vorne und will an die Börse. OpenAI verhandelt über das nächste Rekordinvestment. Musk muss aufholen und hätte gern Einblick in die Tests der Konkurrenz. Trump will das Rennen gegen China gewinnen, und im November stehen in den USA Kongresswahlen an. China will sich von niemandem bremsen lassen. Medien leben von Klicks, und Weltuntergang klickt besser als Konjunktiv. Das gilt auch für die andere Seite: Investoren und Podcaster, die jede Warnung zur Hysterie erklären, verdienen ihr Geld mit Beschleunigung. Wer nur einer Seite Eigeninteresse unterstellt, hat die Hälfte übersehen.

Meine Einordnung

Ich stehe dieser Technologie positiv gegenüber. Ich sehe jeden Tag, was sie im Verlag, in einem Vertrieb und in einem mittelständischen Betrieb leisten kann, und ich will das nicht mehr hergeben. Genau deshalb ärgert mich der Blödsinn in beide Richtungen. Das Weltuntergangsgeschrei vergrault die Leute, die von der Technik am meisten hätten. Und wer alles abtut, übersieht, dass in diesem Sommer Systeme unter Laborbedingungen Dinge getan haben, die ihnen vor einem Jahr niemand zugetraut hätte.

Ein Tempolimit ist kein Technikverbot. Wir haben dem Auto das Fahren auch nie verboten. Wir haben Bremsen, Gurte, den Führerschein und das Pickerl eingeführt, und dem Auto hat das bekanntlich nicht geschadet. Externe Prüfer in den KI-Laboren sind nichts anderes als ein Pickerl für Sprachmodelle. Dass die Werkstatt dabei nicht dem Autohändler gehören sollte, versteht sich von selbst. Genau daran wird sich zeigen, ob die Herren es ernst meinen.

Für alle, die gerade verunsichert sind, vier Faustregeln:

1. Das Original suchen. Essay, Interview, Bericht. Fast alles ist öffentlich und meist kürzer als die Aufregung darüber.
2. Auf den Konjunktiv achten. Zwischen „könnte“ und „wird“ liegt die ganze Geschichte.
3. Fragen, wer spricht und was er davon hat. Und dann trotzdem prüfen, ob es stimmt. Eigeninteresse macht eine Aussage nicht automatisch falsch.
4. Selber ausprobieren. Wer einmal eine Woche ernsthaft mit diesen Werkzeugen gearbeitet hat, fürchtet sich weniger und staunt mehr. Beides ist angebracht.

Ich bleibe an dem Thema dran. Wenn ihr Fragen habt, stellt sie mir. Lieber zehnmal nachgefragt als einmal den falschen Schmarrn geteilt.

Und falls wer fragt: Ja, an diesem Text hat KI mitgearbeitet, bei der Recherche, beim Gegencheck der Fakten. Geschrieben ist er aber trotzdem mit meiner unfassbar schnellen Zeigefinger-Mittelfinger-Technik, auch in Zeiten der schnellen KI…

Quellen zum Nachlesen:

Originaldokumente

• Dario Amodei, „We Must Pace the Frontier“: https://darioamodei.com/post/we-must-pace-the-frontier
• CBS News, Interview mit Dario Amodei: https://www.cbsnews.com/news/anthropic-ceo-dario-amodei-on-ai-risks/
• Anthropic, Threat Intelligence Report September 2026: https://www.anthropic.com/threat-intelligence-report-september-2026
• Anthropic, erste Darstellung der Test-Vorfälle (30. Juli): https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
• Anthropic, revidierte Bewertung (9. September): https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
• OpenAI zum Hugging-Face-Vorfall: https://openai.com/index/hugging-face-incident-and-the-road-ahead/
• Hugging Face, technische Chronologie des Angriffs: https://huggingface.co/blog/agent-intrusion-technical-timeline
• Irregular, Stellungnahme: https://www.irregular.com/research/addressing-recent-incidents-ongoing-findings-and-path-forward
• METR, unabhängige Untersuchung: https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
• UK AI Security Institute, Vorfallsbericht: https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
• Paul Christiano, persönliche Erklärung: https://paulfchristiano.substack.com/p/personal-statement-on-joining-the
• Nightingale Collective zum DseWiki: https://collusion.wiki/

Berichte

• Axios zu Altmans Börsen-Absage: https://www.axios.com/2026/09/12/openai-public-ipo-delay-sam-altman
• Altman bei der Dreamforce, Transkript: https://singjupost.com/transcript-marc-benioff-interviews-sam-altman-at-dreamforce-2026/
• CNBC zu Musks Vorschlag beim All-In Summit: https://www.cnbc.com/2026/09/15/elon-musk-ai-safety-testing.html
• CNBC zur Reaktion aus China: https://www.cnbc.com/2026/09/14/china-ai-slowdown-us-tech-ceos.html
• Axios zu Trumps Postings: https://www.axios.com/2026/09/14/trump-ai-safety-anthropic-dario-amodei
• CBS News zu Evan Hubinger: https://www.cbsnews.com/news/ai-kill-humans-anthropic-researcher-more-than-ten-percent-chance/
• The Record, Kritik an Irregular: https://therecord.media/irregular-ai-hacking-model-blog

Faktenchecks und Einordnung

• Mimikama, „Hat OpenAI-KI Wikipedia gekapert? Nein“: https://www.mimikama.org/faktencheck-ki-agenten-wikipedia/
• Mimikama, „Kann uns die KI killen?“: https://www.mimikama.org/kann-uns-die-ki-killen/
• Mimikama, „KI-Ausbruch ist kein KI-Aufstand“: https://www.mimikama.org/openai-vorfall-ki-ausbruch-kein-ki-aufstand/
• Jan Eggers, Fact Sheet zum Hugging-Face-Hack: https://janeggers.tech/2026/fact-sheet-ki-gegen-ki-der-openai-huggingface-hack/
• t3n, „Angst-PR oder echte Gefahr? Warum beides stimmt“: https://t3n.de/news/ki-warnungen-anthropic-chef-amodei-eigennuetzig-richtig-1763135/
• Bulletin of the Atomic Scientists: https://thebulletin.org/2026/09/rogue-ai-didnt-breach-hugging-face-human-decisions-did/
• Gary Marcus, „Two cheers (out of three) for Dario Amodei“: https://garymarcus.substack.com/p/two-cheers-out-of-three-for-dario
• Gary Marcus zum Botnetz-Szenario: https://garymarcus.substack.com/p/could-rogue-agent-swarms-take-over