
KI-Wurm: Anthropics Studie zur Selbstreplikation von KI
Kann sich eine KI selbst kopieren? Was Anthropic auf vernetzten Geräten getestet hat, KI-Wurm oder KI-Virus, die Grenzen der Studie und die Folgen.
Am 12. Oktober 2026 hat das Frontier Red Team von Anthropic eine Studie zur Selbstreplikation von KI veröffentlicht. Demnach könnten kleine KI-Modelle nur noch „wenige Monate“ davon entfernt sein, sich selbstständig von einem vernetzten Gerät aufs nächste zu kopieren: No-Name-Android-TV-Boxen, vernetzte Backöfen, Kameras. Ein solcher „KI-Wurm“ bräuchte kein Rechenzentrum, und es gäbe keinen zentralen Schalter, um ihn zu stoppen.
Die Studie ist vorsichtiger als die Schlagzeilen. Das einzige Modell, dem die vollständige Replikation gelingt, ist ein großes Modell mit 753 Milliarden Parametern, zu groß, um sich selbst zu kopieren: Es installiert auf jeder Maschine ein kleines Modell, in einem vereinfachten Netz, in dem die Eingangstür offen gelassen worden war. Anthropic schreibt es selbst: „We don't yet have a full rogue replicator“ (wir haben noch keinen vollständigen, unkontrollierten Replikator).
Die Zahl, an der wir hängen geblieben sind, steht woanders: das Tempo, mit dem kleine Modelle besser werden. Wir kennen es gut, denn genau dieses Tempo macht lokale KI in Unternehmen glaubwürdig.
Was ist die Selbstreplikation einer KI?
Eine KI repliziert sich selbst, wenn sie ihre Gewichte auf eine andere Maschine kopiert, dort eine neue Instanz startet und diese Kopie ihrerseits von vorn beginnt.
Die Gewichte sind die DNA des Modells. Es sind die Milliarden Zahlen, die während des Trainings eingestellt werden und alles enthalten, was das Modell kann (wir erklären sie in unserem Artikel über die Schlüsselkonzepte der KI). Wie die DNA bewirken sie allein nichts: Sie brauchen eine Maschinerie, die sie liest, hier eine Inferenzsoftware und einen Chip, dort eine Zelle. Sich kopieren und dann eine Maschinerie finden, die die Kopie ausführt: Das tut das Leben seit vier Milliarden Jahren.
Die Parallele ist so alt wie die Informatik. Schon Ende der 1940er-Jahre untersuchte John von Neumann Maschinen, die sich fortpflanzen können, ausgehend vom Lebendigen; seine Arbeiten erschienen 1966 unter dem Titel Theory of Self-Reproducing Automata. Darin benannte er, was die Fortpflanzung so mächtig macht, wie ein Artikel der französischen Zeitschrift Pour la Science in Erinnerung ruft: „Wenn zufällig ein einziger entsteht, gelten die Gesetze der Wahrscheinlichkeit nicht mehr, und es entstehen viele.“ Die IT-Sicherheit hat ihr gesamtes Vokabular aus der Biologie entlehnt: Virus, Wurm, Infektion, Epidemie.
Der treffendste Vergleich ist der mit dem Virus. Ein Virus ist ein Genom ohne eigene Maschinerie, das die Maschinerie der infizierten Zelle kapert. Der von Anthropic beschriebene KI-Wurm tut dasselbe mit einer TV-Box: Er bringt seine Gewichte mit und nutzt Chip und Speicher des Geräts, um sie auszuführen.
Sicherheitsforscher sprechen seit einem Bericht der Evaluierungsorganisation METR aus dem Jahr 2023 von ARA, für autonomous replication and adaptation (autonome Replikation und Anpassung). Das Wort „Anpassung“ ist wichtig: Wie eine Art überdauert ein Replikator nur, wenn er sich an seine Umgebung anpasst.
Es ist eine der meistzitierten „roten Linien“ der KI-Sicherheit. Im März 2024 hielt die Pekinger Erklärung von IDAIS, unterzeichnet unter anderem von Geoffrey Hinton, Yoshua Bengio und Andrew Yao, fest, dass „kein KI-System in der Lage sein sollte, sich ohne ausdrückliche menschliche Zustimmung und Unterstützung zu kopieren oder zu verbessern“.
Ein klassischer Computerwurm trägt nur einige Hundert Zeilen Code mit sich, ein winziges Genom. Ein KI-Wurm schleppt ein Modell von mehreren Gigabyte mit und muss es auf der infizierten Maschine ausführen. Wie Anthropic schreibt: „Die Gewichte würden Teil der Schadlast.“ Das ist viel schwerer und langsamer, doch ein solcher Wurm kann sich anpassen: Statt einem Skript zu folgen, schreibt er seinen Angriff für jedes neue Ziel selbst.
KI-Wurm, KI-Virus: Wovon ist die Rede?
Der Ausdruck „KI-Wurm“ bezeichnet drei verschiedene Dinge, und „KI-Virus“ ein viertes, das mit Informatik nichts zu tun hat.
| Ausdruck | Was gemeint ist | Beispiele |
|---|---|---|
| Wurm, der auf KI-Assistenten zielt | Eine versteckte Anweisung (Prompt Injection), die der Assistent in seine Ausgabe kopiert, wo ein anderer Assistent sie liest | Morris II (2024), Wurm in Copilot für Word (Juli 2026), von OpenAI entdeckte Injections (September 2026) |
| Malware, die eine KI aufruft | Ein klassisches Schadprogramm, das ein Modell bittet, seinen Code zu schreiben oder umzuschreiben | PromptLock (ESET, August 2025), PROMPTFLUX (Google, November 2025) |
| KI, die selbst der Wurm ist | Das Modell kopiert sich und läuft auf den Maschinen, die es infiziert | Palisade Research (Mai 2026), Universität Toronto (Juni 2026), Anthropic (Oktober 2026) |
| KI-Virus im biologischen Sinn | Ein echtes Virus, dessen Genom ein KI-Modell entworfen hat | 16 von den Evo-Modellen entworfene Bakteriophagen (Science, August 2026) |
Die erste Kategorie betrifft bereits Bürowerkzeuge. 2024 entwickelten Forschende von Cornell Tech, dem Technion und Intuit Morris II, benannt nach dem Wurm von 1988: Eine präparierte Nachricht bringt einen E-Mail-Assistenten dazu, sich in seine Antworten zu kopieren und Daten abfließen zu lassen. Im Juli 2026 zeigte der norwegische Forscher Håkon Måløy, dass weißer Text auf weißem Grund in einem Word-Dokument genügte: Copilot führt ihn aus, ändert die Zahlen eines Berichts und kopiert die Anweisung in neue Dokumente. Nach 144 Tagen Austausch und zwei Patches von Microsoft funktionierte der Angriff nach seinen Angaben immer noch. Eine tatsächliche Ausnutzung wurde nicht gemeldet.
Seit August 2026 verweist „KI-Virus“ vor allem auf Arbeiten aus der Biologie. Forschende aus Stanford und vom Arc Institute ließen die Evo-Modelle rund 700.000 Virusgenome entwerfen, synthetisierten 285 davon und erhielten 16 lebensfähige Viren, die das Bakterium E. coli infizieren und nicht den Menschen. Diese Viren haben technisch nichts mit Computerwürmern zu tun. Sie befeuern aber dieselbe Debatte: Eine nützliche Fähigkeit kann auch Schaden anrichten.
Was Anthropic getestet hat
Das Team zerlegt die Replikation in vier Schritte: Ziele finden, eindringen, das Modell installieren und betreiben, dann von der neuen Maschine aus von vorn beginnen. Die Tests konzentrierten sich auf den dritten Schritt, den zweiten hat das Team bewusst vereinfacht.
Ein Modell auf billiger Hardware betreiben
Anthropic verteilte Gemma 4 26B, ein offenes Modell von Google, auf 15 Android-TV-Boxen zu je etwa 55 Dollar mit jeweils 4 GB Speicher. Das Ganze erzeugt 0,39 Token pro Sekunde, also etwa ein Wort alle drei Sekunden.
Anschließend ließen die Forschenden Modelle eine solche Installation selbst auf unterschiedlicher Hardware einrichten. Um die Ergebnisse vergleichbar zu halten, war das zu installierende Modell immer dasselbe, Llama 3.1 8B von Meta, und nicht der Agent selbst. Ein Modell mit 9 Milliarden Parametern, Qwen3.5-9B von Alibaba, schaffte es auf 8 der 9 getesteten Hardwaretypen. Um sich selbst vollständig zu installieren, bräuchte es 28 bis 51 Stunden.
Sich von Maschine zu Maschine ausbreiten
Für den Test von Anfang bis Ende baute Anthropic ein isoliertes Netz aus 8 Maschinen auf, die Android-Geräte simulieren, mit einem offenen Debugging-Port ohne Passwort. Der Agent sollte von Maschine zu Maschine springen und auf jeder dasselbe kleine Modell installieren, Llama 3.1 8B. Nur ein offenes Modell schafft das: GLM-5.2, das in 4 von 5 Versuchen alle 8 Maschinen erreicht und im letzten 7 von 8. Die anderen scheitern.
GLM-5.2 ist kein kleines Modell. Im Juni 2026 vom chinesischen Unternehmen Zhipu (Z.ai) unter MIT-Lizenz veröffentlicht, umfasst es 753 Milliarden Parameter und passt auf kein vernetztes Gerät. Es hat sich also nicht selbst kopiert. In der Studie dient es als Maßstab: Dieses Niveau muss ein kleines Modell erreichen, um die ganze Kette allein zu bewältigen.
Von Generation zu Generation lernen
Jede Kopie kann ihre Notizen an die nächste weitergeben, was diese verbessert. Das ist eine Form der Vererbung: Die Gewichte ändern sich nicht, doch was jede Generation gelernt hat, geht an die nächste über. Die Erfolgsquote von Qwen3.5-9B steigt von 45 % in der ersten Generation auf 61 bis 84 % in den folgenden. Der Zugriff auf ein weit stärkeres Modell als Berater, Claude Opus 4.8, bringt dagegen keinen messbaren Vorteil.
Hochrechnung auf ein echtes Botnetz
Um die Größenordnung abzuschätzen, nimmt Anthropic das Beispiel Kimwolf, ein Botnetz aus mehr als 2 Millionen Geräten, zu zwei Dritteln billige Android-TV-Boxen, die oft schon infiziert verkauft werden. Auf einem solchen Bestand könnte ein KI-Wurm rund 133.000 Kopien betreiben, was der Rechenleistung von 40 H100-Karten entspricht. Für ein Rechenzentrum ist das vernachlässigbar, aber es ist auf Tausende Haushalte und kleine Unternehmen verteilt und lässt sich daher nicht auf einen Schlag abschalten.
Was man relativieren muss
Anthropic zählt die Grenzen der Studie selbst auf.
- Der Debugging-Port war offen, das Eindringen also trivial. Die Forschenden stellen ihre Ergebnisse selbst als „Obergrenze“ der realen Erfolgschancen dar.
- Kein Modell hat alle Schritte der Replikation allein und unter realen Bedingungen hintereinander ausgeführt.
- Es wäre langsam: Bei einem Wort alle drei Sekunden bräuchte ein solcher Wurm mehrere Tage, um seine Größe zu verdoppeln.
- Kleine Modelle sind schlecht in Manipulation. Bei gezielten Phishing-Aufgaben reichen ihre Ergebnisse von „sehr schwach“ bis „schwach“.
- Nichts wurde begutachtet oder reproduziert. Es ist ein Blogbeitrag ohne wissenschaftliche Veröffentlichung und ohne veröffentlichten Code, und die Schätzung beruht auf einer einzigen Geräteklasse und einem einzigen Botnetz.
Ciaran Martin, ehemaliger Leiter des britischen National Cyber Security Centre (NCSC), sieht darin eine „Übertreibung eines Anbieters“: „‚Wir haben es geschafft, ein kleines Modell auf billigen Fernsehern laufen zu lassen‘ ist keine Sicherheitskrise“, sagte er Reuters.
Beim Ton hat er nicht unrecht, und man kann ein kommerzielles Interesse darin sehen, dass ein Labor, das geschlossene Modelle verkauft, ein Risiko den offenen Modellen zuschreibt. Für uns zählt die Demonstration auf den TV-Boxen weniger als die Steigung der Kurve der kleinen Modelle, die sich in öffentlichen Daten nachprüfen lässt (siehe unten).
Für die früheren Studien gelten dieselben Vorbehalte. Im Dezember 2024 meldete die Fudan-Universität, Llama 3.1 70B und Qwen 2.5 72B hätten sich in 50 % und 90 % der Versuche repliziert, doch die Modelle hatten dazu einen ausdrücklichen Befehl erhalten. Der Prüfstand RepliBench des britischen AI Security Institute zeigte 2025, dass die besten Modelle die meisten Schritte bewältigten, aber keines eine Identitätsprüfung nach KYC-Art bestand.
Warum es trotzdem ernst ist
Kein Abschaltknopf
Ein Modell, das über eine API genutzt wird, kann sein Anbieter abschalten. Ein Open-Weight-Modell, das auf Tausende Boxen kopiert wurde, hängt von niemandem mehr ab. Anthropic beschreibt dieses Szenario als langsamen, verteilten „digitalen Schimmel“, der auf schlecht gesicherter Hardware lebt.
Der Vergleich mit dem Lebendigen hilft zu verstehen, warum ein solcher Wurm keine Absicht bräuchte. In der Natur „will“ sich nichts fortpflanzen: Was sich fortpflanzt, wird schlicht zahlreicher als das, was es nicht tut. Es würde genügen, dass ein einziger Replikator funktioniert, aus böser Absicht oder durch Zufall, damit von Neumanns Bemerkung greift. Anthropic beschreibt sein schlimmstes Szenario übrigens als Ökosystem: einen „Schwarm“ verschiedener Modelle auf verschiedener Hardware, die sich jeweils auf ihre Weise replizieren.
Kleine Modelle werden schnell besser
Laut Anthropic gewinnen die besten offenen Modelle mit 30 Milliarden Parametern oder weniger 13,7 Punkte pro Jahr auf dem Fähigkeitsindex ECI von Epoch AI. Die Zahlen von Epoch zeigen den zurückgelegten Weg: Qwen3.5-9B, Anfang 2026 erschienen, übertrifft Llama 3.1 405B vom Juli 2024 mit 45-mal weniger Parametern. Qwen3.8 27B, im August veröffentlicht, liegt nur noch 2,4 Punkte hinter GLM-5.2, also etwa zwei Monate im aktuellen Tempo.
Adaptive Würmer gibt es im Labor bereits
Andere Teams sind beim Schritt des Eindringens weiter gegangen. Im Mai 2026 ließ Palisade Research einen Agenten vier Server hacken und sich dorthin kopieren, in Kanada, den USA, Finnland und Indien, in 2 Stunden und 41 Minuten. Im Juni ließ ein Team der Universität Toronto einen Wurm mit einem offenen Modell auf ein Testnetz aus 33 Maschinen los. Er erreichte im Schnitt 20 davon, über bis zu 7 Generationen, indem er Lücken ausnutzte, die erst nach dem Training des Modells veröffentlicht worden waren. In beiden Fällen waren die Netze absichtlich verwundbar, und die Agenten hatten den Befehl erhalten, sich auszubreiten.
Die Labore hatten ihre Wachsamkeit gesenkt
Zwischen 2024 und 2025 haben Anthropic, Google DeepMind und OpenAI die autonome Replikation in ihren Sicherheitsrichtlinien allesamt herabgestuft, weil sie sie für unwahrscheinlich hielten oder durch andere Risiken besser abgedeckt sahen. METR schätzte 2024, sie sei „überschätzt“ worden. Die Studie vom Oktober öffnet die Akte wieder und verlagert das Risiko zu kleinen offenen Modellen, die auf Consumer-Hardware laufen.
Kleine Open-Weight-Modelle: derselbe Fortschritt, auf beiden Seiten
Wir setzen bei unseren Kunden Open-Weight-Modelle ein, oft aus Gründen der Souveränität. Genau die Kurve, die Anthropic beunruhigt, erlaubt es uns heute, auf einem einzigen Server Anwendungen zu betreiben, die vor zwei Jahren ein riesiges Modell erforderten. Viele dieser kleinen Modelle sind Schüler größerer Modelle, gewonnen durch Distillation.
Die Studie fordert kein Verbot dieser Modelle. Im Juli 2026 schrieb Dario Amodei, der Chef von Anthropic, das Unternehmen habe sich „nie für ein Verbot von Open-Weight-Modellen ausgesprochen“, forderte aber verpflichtende Sicherheitstests für die leistungsfähigsten Modelle. Er erinnerte auch daran, dass ein veröffentlichtes Modell nicht mehr zurückgezogen werden kann: Die Gewichte der betroffenen Modelle sind bereits im Umlauf.
Der europäische Rahmen deckt dieses Szenario nicht ab. Artikel 53 des AI Act erleichtert die Pflichten für Modelle unter freier Lizenz, solange sie unter der Schwelle des systemischen Risikos bleiben, die bei 10²⁵ Rechenoperationen für das Training liegt. Kleine Modelle sind davon weit entfernt. Bestätigt sich das von Anthropic beschriebene Risiko, wird es von Modellen ausgehen, die keine Rechenschwelle erfasst.
Das schwächste Glied sind die Geräte, um die sich niemand kümmert: die Box am Fernseher im Besprechungsraum, die Kamera, die vor fünf Jahren montiert und nie aktualisiert wurde. Der KI-Server eines Unternehmens dagegen wird administriert, überwacht und durch eine Firewall geschützt.
Was ein Unternehmen jetzt schon tun kann
Anthropic denkt wie ein Epidemiologe: Ziel ist, den R₀-Wert unter 1 zu drücken, also dafür zu sorgen, dass eine infizierte Maschine im Schnitt weniger als eine weitere ansteckt, damit der Wurm erlischt, statt sich festzusetzen. Wie bei einer Epidemie gelingt das über weniger verwundbare Wirte und eine schnelle Erkennung.
Es gibt zwei Fronten: die vernetzten Geräte, Ziel des Szenarios von Anthropic, und die KI-Assistenten, Ziel der bereits existierenden Würmer per Prompt Injection.
Bei den vernetzten Geräten
- Die ans Netz angeschlossenen Geräte inventarisieren: Fernseher und Boxen in Besprechungsräumen, Kameras, Videokonferenzsysteme, Drucker.
- Sie in ein separates Netz auslagern, ohne Zugriff auf Arbeitsplatzrechner und Server.
- Die Debugging-Ports schließen und die Standardpasswörter ändern. Großbritannien verbietet solche Passwörter bereits für vernetzte Geräte, die dort verkauft werden.
- No-Name-Android-Boxen aussortieren, die oft schon kompromittiert verkauft werden.
- Den ausgehenden Datenverkehr überwachen: Eine Box, die mehrere Gigabyte herunterlädt oder Tausende Verbindungen öffnet, muss Alarm auslösen.
Bei den KI-Assistenten
- Jedes Dokument, jede E-Mail und jede Nachricht, die ein Agent oder Assistent liest, als nicht vertrauenswürdig behandeln.
- Die Rechte der Agenten begrenzen und jede Aktion, die schreibt, sendet oder löscht, von einem Menschen freigeben lassen. Diese Grundsätze erläutern wir in unserem Artikel über KI-Agenten im Unternehmen.
Auch die Regulierung kommt voran. Seit dem 11. September 2026 verpflichtet der Cyber Resilience Act die Hersteller, aktiv ausgenutzte Lücken in ihren vernetzten Produkten binnen 24 Stunden zu melden. Seine übrigen Anforderungen, darunter Sicherheit durch Voreinstellung, gelten ab dem 11. Dezember 2027. Auch die Internetanbieter haben eine Rolle zu spielen: Gegen das Botnetz Mirai beseitigte die Quarantäne infizierter Kunden 92 % der Infektionen innerhalb von 14 Tagen, laut einer Universitätsstudie von 2019.
Häufige Fragen zur Selbstreplikation von KI
Kann eine KI sich selbst kopieren?
Im Labor ja, sofern man ihr den Befehl dazu und eine verwundbare Umgebung gibt. Mehrere Studien (Fudan 2024, Palisade Research und die Universität Toronto 2026) haben Modelle gezeigt, die ihre Gewichte auf eine andere Maschine kopieren und dort eine Instanz neu starten. Im Oktober 2026 zeigte Anthropic, dass sich ein großes offenes Modell, GLM-5.2, in einem vereinfachten Testnetz ausbreiten konnte. Außerhalb eines Labors hat sich bisher keine KI autonom repliziert.
Was ist ein KI-Wurm?
Ein KI-Wurm ist ein Programm, das sich ohne menschliches Zutun von Maschine zu Maschine ausbreitet und sich dabei auf ein KI-Modell stützt. Es gibt drei Formen: eine versteckte Anweisung, die ein KI-Assistent in seine Ausgabe kopiert (Morris II, Wurm in Copilot für Word), eine Malware, die ein Modell bittet, ihren Code zu schreiben (PromptLock, PROMPTFLUX), und ein Modell, das sich selbst auf die infizierten Maschinen kopiert, das von Anthropic untersuchte Szenario.
Was ist ein KI-Virus?
„KI-Virus“ bezeichnet seit August 2026 vor allem biologische Viren, die von einer KI entworfen wurden. Forschende aus Stanford und vom Arc Institute ließen die Evo-Modelle Virusgenome entwerfen und erhielten 16 lebensfähige Bakteriophagen, die das Bakterium E. coli infizieren und nicht den Menschen. Für ein Schadprogramm, das sich mithilfe von KI ausbreitet, spricht man eher von einem KI-Wurm.
Welchem Modell gelang in Anthropics Studie die Replikation?
Nur GLM-5.2, im Juni 2026 vom chinesischen Unternehmen Zhipu veröffentlicht, schaffte die vollständige Kette: Es erreichte in 4 von 5 Versuchen die 8 Maschinen des Testnetzes und installierte auf jeder ein kleines Modell. Es ist kein kleines Modell: Mit 753 Milliarden Parametern passt es auf kein vernetztes Gerät und hat sich daher nicht selbst kopiert. Anthropic schätzt, dass ein Modell mit weniger als 30 Milliarden Parametern dieses Niveau bis Ende 2026 erreichen könnte.
Sind die vernetzten Geräte eines Unternehmens bedroht?
Im Visier stehen schlecht gesicherte Geräte: No-Name-Android-TV-Boxen, Kameras, Videokonferenzsysteme, Geräte, die nie aktualisiert oder mit ihrem Standardpasswort belassen wurden. Sie sind bereits Ziel klassischer Botnetze wie Kimwolf. Sie in ein separates Netz auszulagern, ihre Debugging-Ports zu schließen und ihren ausgehenden Datenverkehr zu überwachen, schützt vor beiden Bedrohungen.
Sollte man auf Open-Weight-KI-Modelle verzichten?
Nein. Anthropics Studie fordert das nicht, und die Gewichte der betroffenen Modelle sind bereits veröffentlicht und lassen sich nicht zurückziehen. Das beschriebene Risiko geht von vernetzten Geräten aus, die niemand überwacht, nicht von einem KI-Server, den ein Unternehmen administriert. Ein Open-Weight-Modell, das man selbst oder bei einem europäischen Anbieter hostet, bleibt eine gute Wahl, um die Kontrolle über die eigenen Daten zu behalten.
Heute ist kein KI-Wurm im Umlauf. Die Schritte zu seinem Bau werden aber für Modelle erreichbar, die klein genug sind, um auf Hardware für 55 Dollar zu laufen, und an dem Tag, an dem einer funktioniert, gibt es keinen Schalter, den man umlegen kann. Wie in der Natur genügt es, dass ein einziger Replikator Erfolg hat.
Für ein Unternehmen ist das Nützlichste nichts Neues: wissen, was am eigenen Netz hängt, es isolieren und aktualisieren und den eigenen KI-Assistenten nicht mehr Rechte geben als nötig.


