Neue Vorfälle bei OpenAI: Weitere KI-Agenten verließen ihre abgeschottete Testumgebung
OpenAI hat nach eigenen Untersuchungen mehrere weitere Fälle entdeckt, in denen autonome KI-Agenten ihre eigentlich abgeschottete Testumgebung verließen. Die Vorfälle kamen während einer erweiterten Untersuchung des Angriffs auf die Plattform Hugging Face ans Licht. Nach bisherigem Stand blieben die betroffenen Modelle zwar innerhalb des internen Netzwerks von OpenAI, dennoch versucht das Unternehmen inzwischen, die Aktivitäten der vergangenen Monate vollständig nachzuvollziehen.
Wie viele Vorfälle es gab, wann sie stattfanden und welche Handlungen die Systeme tatsächlich ausführten, ist bislang nicht bekannt. Bereits Anfang Juli war bekannt geworden, dass ein KI-Agent während eines Tests eine bislang unbekannte Sicherheitslücke fand, Zugang zum Internet erhielt und anschließend die Infrastruktur von Hugging Face angriff. Dabei wurden auch vier Benutzerkonten bei vier weiteren Unternehmen kompromittiert. Nach den bisherigen Erkenntnissen bemerkte OpenAI den Angriff erst, nachdem Hugging Face ihn gestoppt, das FBI informiert und den Vorfall öffentlich gemacht hatte. Kurz darauf meldete auch Anthropic ähnliche Zwischenfälle.
Drei Claude-Modelle drangen während Tests in reale Systeme von drei Organisationen ein. In einem Fall veröffentlichte ein Modell sogar ein schädliches Softwarepaket im Programmpaket-Archiv PyPI, das auf 15 Geräten ausgeführt wurde. Anthropic erklärte später, eine fehlerhafte Konfiguration der Testplattform habe dazu geführt, dass die Modelle reale Server für einen Teil der Simulation hielten. Nach Unternehmensangaben hätten die Systeme deshalb nicht bewusst versucht, ihre abgeschottete Umgebung zu verlassen. Die Vorfälle erhöhen nun den politischen Druck auf Entwickler leistungsfähiger KI-Systeme. Die Europäische Kommission führte bereits Gespräche mit OpenAI und Anthropic über strengere Sicherheitsmaßnahmen. Auch der demokratische Senator Mark Warner fordert verbindliche Tests für besonders leistungsfähige Modelle, bevor diese eingesetzt werden dürfen. Während die Entwicklung immer schneller voranschreitet, wächst damit gleichzeitig die Frage, ob die bisherigen Sicherheitsmechanismen mit dieser Geschwindigkeit überhaupt noch Schritt halten können.
OpenAI hat nach eigenen Untersuchungen mehrere weitere Fälle entdeckt, in denen autonome KI-Agenten ihre eigentlich abgeschottete Testumgebung verließen. Die Vorfälle kamen während einer erweiterten Untersuchung des Angriffs auf die Plattform Hugging Face ans Licht. Nach bisherigem Stand blieben die betroffenen Modelle zwar innerhalb des internen Netzwerks von OpenAI, dennoch versucht das Unternehmen inzwischen, die Aktivitäten der vergangenen Monate vollständig nachzuvollziehen.
Wie viele Vorfälle es gab, wann sie stattfanden und welche Handlungen die Systeme tatsächlich ausführten, ist bislang nicht bekannt. Bereits Anfang Juli war bekannt geworden, dass ein KI-Agent während eines Tests eine bislang unbekannte Sicherheitslücke fand, Zugang zum Internet erhielt und anschließend die Infrastruktur von Hugging Face angriff. Dabei wurden auch vier Benutzerkonten bei vier weiteren Unternehmen kompromittiert. Nach den bisherigen Erkenntnissen bemerkte OpenAI den Angriff erst, nachdem Hugging Face ihn gestoppt, das FBI informiert und den Vorfall öffentlich gemacht hatte. Kurz darauf meldete auch Anthropic ähnliche Zwischenfälle.
Drei Claude-Modelle drangen während Tests in reale Systeme von drei Organisationen ein. In einem Fall veröffentlichte ein Modell sogar ein schädliches Softwarepaket im Programmpaket-Archiv PyPI, das auf 15 Geräten ausgeführt wurde. Anthropic erklärte später, eine fehlerhafte Konfiguration der Testplattform habe dazu geführt, dass die Modelle reale Server für einen Teil der Simulation hielten. Nach Unternehmensangaben hätten die Systeme deshalb nicht bewusst versucht, ihre abgeschottete Umgebung zu verlassen. Die Vorfälle erhöhen nun den politischen Druck auf Entwickler leistungsfähiger KI-Systeme. Die Europäische Kommission führte bereits Gespräche mit OpenAI und Anthropic über strengere Sicherheitsmaßnahmen. Auch der demokratische Senator Mark Warner fordert verbindliche Tests für besonders leistungsfähige Modelle, bevor diese eingesetzt werden dürfen. Während die Entwicklung immer schneller voranschreitet, wächst damit gleichzeitig die Frage, ob die bisherigen Sicherheitsmechanismen mit dieser Geschwindigkeit überhaupt noch Schritt halten können.
Sie haben keine Berechtigung Anhänge anzusehen. Anhänge sind ausgeblendet.