Das US-Unternehmen Anthropic hat einen vierten Cybersicherheitsvorfall mit seinem KI-Dienst Claude gemeldet. Wie die Entwicklerfirma ​am Mittwoch in einem Blogbeitrag mitteilte, ereignete sich der Zwischenfall im Januar mit einer ‌Vorabversion von Claude Opus 4.6. Die Betroffenen seien informiert worden, weitere Details nannte Anthropic nicht.

Erst im Juli hatte das Unternehmen offengelegt, dass seine Modelle bei Tests in die Systeme von drei Firmen eingedrungen waren. Ursache war ein Fehler, durch ​den die Künstliche Intelligenz (KI) versehentlich Zugang zum offenen Internet erlangt hatte.

Anthropic hatte die Vorfälle ⁠nach ⁠der Überprüfung von 141.006 Testläufen entdeckt. Bei der ersten Durchsicht seien jedoch einige Testsitzungen übersehen ​worden, teilte Anthropic ‌weiter mit. Deren nachträgliche Auswertung im vergangenen Monat habe nun zur Entdeckung des vierten Vorfalls geführt.

Unverantwortliche Risiken?

Mit der Untersuchung der Vorfälle hat Anthropic das unabhängige Forschungsunternehmen METR beauftragt. Dieses erhalte umfassenden Zugang, auch ‌zu Protokollen außerhalb des fraglichen Zeitraums sowie zu Mitarbeitern, die befugt seien, vertrauliche Informationen weiterzugeben. Die zunächst achtwöchige Vereinbarung könne in beiderseitigem ‌Einvernehmen verlängert werden.

KI-Unternehmen stehen wegen solcher ​Ausbrüche, bei denen KI-Programme unbeabsichtigt ‌ins offene Internet gelangen, zunehmend unter Beobachtung. Betroffen sind sowohl Anthropic als auch OpenAI. Ein Entwickler von Anthropic hat aus Sorge vor den möglichen Folgen sogar gekündigt. Er wirft den Unternehmen vor, unverantwortliche Risiken einzugehen.

Im Juli hatte OpenAI mitgeteilt, dass ein autonomer KI-Agent aus seiner Testumgebung »ausgebrochen« sei. Das Programm sollte einen ​Cybersicherheitstest absolvieren und drang dabei in ‌die Systeme des Unternehmens Hugging Face ein , um ein ‌Testziel zu ​erreichen.

Der Vorfall hatte Forderungen nach strengeren Sicherheitsvorkehrungen ausgelöst. OpenAI-Chef Sam Altman sagte im August, bei der KI-Entwicklung werde es zu Zwischenfällen kommen. Zugleich betonte er, sein Unternehmen wolle keine Modelle entwickeln, die sich nicht kontrollieren ließen.

Das Unternehmen kündigte zudem an, die Sicherheitskontrollen für seine ​leistungsfähigsten Modelle zu verschärfen und alle Aktivitäten ⁠im Zusammenhang mit der damals noch unveröffentlichten Astra-KI ​zu ​pausieren.

In der ‌vergangenen Woche ​war bekannt geworden, dass außer Kontrolle geratene Agenten von OpenAI offenbar ein deutschsprachiges Wiki und ​eine Reihe anderer Websites zum Informationsaustausch genutzt ⁠hatten. Forscher hatten herausgefunden, dass Tausende OpenAI-Agenten im Sommer rund 18.000 Beiträge auf der frei bearbeitbaren Plattform DSEwiki hinterließen, in denen sie Antworten auf Testfragen und Tipps zum Umgehen digitaler Sicherheitsbarrieren austauschten.

Lesen Sie hier ein Interview mit Thorsten Holz zum Risiko von KI-Agenten. Er hat das Testsystem mitgebaut, aus dem eine Hacker-KI von OpenAI heimlich ausgebrochen ist. Holz erklärt, wie gefährlich KI für die Sicherheit des Netzes wird – und warum er optimistisch bleibt .