2026-08-15 · buy-side

Anthropic: Unternehmen stuft Risiko schwerer KI-Fehlsteuerung hoch

Mehr Unsicherheit bei der KI-Entwicklung Anthropic setzt Risikostufe hoch

Anthropic schätzt das Risiko schwerer Schäden durch eine mögliche Fehlsteuerung seiner Modelle etwas höher ein als noch vor einem halben Jahr. Die Gefahr von schwerwiegenden Folgen in Hochrisiko-Situationen sei demzufolge nun immerhin als "niedrig" einzuschätzen. Im Februar war die Bewertung noch bei "sehr niedrig" gewesen.

Das steht im zweiten sogenannten Risikobericht des Unternehmens. Anthropic hat ihn am Freitag veröffentlicht. Der vorangegangene Bericht stammt vom Februar. Mit Hochrisiko-Situationen meint das Unternehmen Fälle, in denen seine KI nicht für banale Standardaufgaben eingesetzt wird. Sondern zum Beispiel mit weitreichenden Zugriffsrechten eigenständig in sicherheitsrelevante Forschungs- und Entwicklungsprozesse eingreifen könnten.

Als Grund für die Hochstufung in der eigenen Skala verweist das Unternehmen auf eine Häufung von Sicherheitsvorfällen: In den vergangenen Wochen hatte das Verhalten von KI-Agenten unterschiedlicher Hersteller weltweit Sicherheitsbedenken gegenüber solchen Tools befeuert.

Ein KI-Agent ist eine Software, die weitgehend autonom agieren kann. Er erledigt Arbeitsaufträge, ohne für jeden einzelnen Schritt nachzufragen, ähnlich wie ein menschlicher Assistent.

Autonome Hackerangriffe

Immer wieder waren solche KI-Bots bei Sicherheitstests ausgebrochen, ohne dass die menschlichen Aufseher es zeitnah bemerkten. Im Zentrum standen Vorfälle bei OpenAI, wo ein KI-Agent fremde Firmen gehackt hatte. Die Firma bemerkte dies offenbar tagelang nicht. Doch auch Anthropic gab in der Folge bekannt, ähnliche Probleme entdeckt zu haben: Auch dort hatten KI-Systeme unbemerkt andere Unternehmen angegriffen.

Der Risikobericht betont nun, dass es keine neuen Hinweise auf gravierende Vorfälle gebe. Man bewerte aber nun vorsichtiger, weil sich die Fähigkeiten und Risiken der Systeme schwerer zuverlässig messen ließen.

Neues Modell zunächst nur intern im Einsatz

Das Prinzip Vorsicht betont Anthropic auch in einem anderen Fall, den der Bericht aufgreift: Sein neues, noch leistungsfähigeres Modell mit dem Namen Model 2 will das Unternehmen nämlich bis auf Weiteres lediglich firmenintern einsetzen – und nicht veröffentlichen.

Laut Anthropic sei Model 2 merklich besser als das aktuelle Modell Mythos 5, etwa beim Programmieren oder Erzeugen von Trainingsdaten. Offenbar will man das Modell aber weiter intensiv testen, bevor es auf den Markt kommt.

Die Ankündigung ist erstaunlich, weil die Entwicklung von fortschrittlicher KI durch führende US-Unternehmen wie Anthropic oder OpenAI lange immer wieder als Wettrennen beschrieben wurde: Wer bremst, verliert.

Nach den schwerwiegenden Sicherheitsfällen und einer globalen Debatte über KI-Sicherheit und mehr Regulierung scheint Tempo zumindest aktuell aber nicht mehr der bestimmende Faktor zu sein.

Die Branche betont auf unterschiedlichen Wegen, Sicherheit zu priorisieren. Wohl auch, um neue, strengere Gesetze abzuwenden. Freiwillig veröffentlichte Berichte wie der von Anthropic sind dabei nicht zuletzt ein gutes Marketingwerkzeug.

Zuletzt hatte Konkurrent OpenAI seine Entwicklung eines neuen Modells namens Astra ebenfalls partiell gestoppt. Die Begründung: Die KI habe "kritische" Fähigkeiten im Bereich Cybersecurity und könnte selbstständig Angriffe auf hochsichere Ziele ausführen.