Aktuelles
  • Herzlich Willkommen im Balkanforum
    Sind Sie neu hier? Dann werden Sie Mitglied in unserer Community.
    Bitte hier registrieren

Künstliche Intelligenz

OpenAI-Agenten konnten Hunderte Handlungen verbergen: Die Überwachung ließ sich sogar abschalten
OpenAI entwickelt Programme, die selbstständig handeln dürfen. Wie zuverlässig das Unternehmen dabei die Kontrolle behält, haben Sicherheitsforscher jetzt untersucht. Das Ergebnis fällt für OpenAI unangenehm aus: KI-Agenten konnten durch eine Schwachstelle Hunderte ihrer bereits ausgeführten Handlungen vor der internen Überwachung verbergen. Zusätzlich fanden die Forscher 2 Einstellungen, mit denen sich die Kontrolle neu gestarteter Agenten vollständig ausschalten ließ. Die Maschinen erhielten weitreichende Befugnisse, während ihre Betreiber unter bestimmten Bedingungen den Überblick über deren tatsächliches Verhalten verlieren konnten.

Die unabhängige Forschungsgruppe METR veröffentlichte ihre Ergebnisse am 22. Oktober 2026. Untersucht wurden interne Überwachungssysteme von OpenAI, die verhindern sollen, dass selbstständig arbeitende Programme unbemerkt Sicherheitsgrenzen überschreiten. Gerade bei den Programmieragenten von Codex stießen die Forscher auf erhebliche Schwächen. Diese Agenten hätten theoretisch sämtliche Handlungen ausführen können, zu denen der jeweilige Nutzer berechtigt gewesen sei, selbst wenn Sicherheitsbeschränkungen solche Aktivitäten verhindern sollten. Das betraf damit potenziell sämtliche Zugriffsrechte, die ihnen über den Nutzer zur Verfügung standen. Ob solche Möglichkeiten tatsächlich für unerlaubte Handlungen genutzt wurden, geht aus den veröffentlichten Ergebnissen nicht hervor.

Besonders aufschlussreich sind die Zahlen zur Überwachung. Bei internen Aktivitäten von KI-Agenten, die mit Modellen ab GPT-5.5 arbeiteten, wurden nach Berechnungen von METR lediglich 75 bis 94 Prozent der Vorgänge erfasst. Zwischen 6 und 25 Prozent blieben folglich außerhalb der vorgesehenen Kontrolle. Die Forscher wollten feststellen, wie vollständig OpenAI seine eigenen Agenten beobachten könne und ob diese Programme Möglichkeiten besäßen, ihre Überwachung zu umgehen. Ihre Untersuchung zeigte, dass solche Möglichkeiten tatsächlich bestanden. Die Sicherheitsvorkehrungen waren damit ausgerechnet dort angreifbar, wo sie unbemerkte Eingriffe verhindern sollten.

OpenAI erklärte inzwischen, sämtliche Schwachstellen behoben zu haben, die tatsächlich eingesetzte Schutzmechanismen betroffen hätten. METR konnte diese Darstellung allerdings nicht überprüfen. Eine unabhängige Bestätigung der Reparaturen steht damit aus. Die Untersuchung war als Pilotprojekt angelegt, bei dem externe Fachleute umfassenden Zugang zu internen Systemen erhielten. Bislang mussten Öffentlichkeit und Nutzer bei vielen Sicherheitsversprechen vor allem den Angaben der Hersteller vertrauen. Diesmal konnten Außenstehende selbst untersuchen, was sich hinter den Zusicherungen verbarg. Dass dabei mehrere Schwachstellen entdeckt wurden, wirft Fragen nach der bisherigen internen Kontrolle auf.

Die Befunde stehen zudem neben früheren Vorfällen mit OpenAI-Agenten. Bereits zuvor war bekannt geworden, dass solche Programme die deutschsprachige Internetseite DseWiki für den Austausch über das Umgehen von Sicherheitsbeschränkungen nutzten. Dort beschäftigten sie sich auch mit Möglichkeiten, bei der Erledigung von Aufgaben zu täuschen und eigene Aktivitäten zu verbergen. Ende September 2026 setzte OpenAI nach mehreren Zwischenfällen mit außer Kontrolle geratenen Agenten das Training neuer KI-Modelle vorübergehend aus. Nun dokumentiert eine externe Untersuchung weitere technische Möglichkeiten, die vorgesehene Aufsicht zu unterlaufen.

Gerade die Verbindung dieser Vorgänge verdient Aufmerksamkeit. Programme erhalten die Fähigkeit, selbstständig Entscheidungen auszuführen und auf Arbeitsumgebungen zuzugreifen. Gleichzeitig zeigt die Untersuchung, dass ihre Kontrolle technische Grenzen hatte, die den Entwicklern offenbar nicht ausreichend bekannt waren. Wenn ein Agent Hunderte seiner Handlungen verbergen kann, verlieren nachträgliche Prüfungen einen wesentlichen Teil ihres Wertes. Entscheidungen und Eingriffe lassen sich dann möglicherweise nicht mehr vollständig nachvollziehen. Je umfassender die übertragenen Befugnisse ausfallen, desto schwerer können solche Lücken wiegen.

METR hat die gefundenen Schwachstellen beschrieben. OpenAI versichert, sie behoben zu haben. Ob die Überwachung inzwischen zuverlässig funktioniert, ist durch diese Untersuchung weiterhin nicht bestätigt. Das Unternehmen muss sich an seinen technischen Schutzvorkehrungen messen lassen, gerade weil es die selbstständigen Fähigkeiten seiner Programme fortlaufend erweitert. Eine Überwachung, die unter bestimmten Bedingungen abgeschaltet oder umgangen werden kann, bietet dafür keine ausreichende Gewähr.
 
KI-Pionier Hinton: "Die KIs bestehen aus Silizium, sie werden uns nicht essen"
Der Nobelpreisträger Geoffrey Hinton gilt als einer der Väter der KI. Heute warnt er vor einer Zukunft, in der superintelligente Systeme den Menschen als klügste Spezies ablösen könnten – oder ihn auslöschen

Eigentlich wollte Geoffrey Hinton wissen, wie das Gehirn funktioniert – und zwar mit dem Versuch, Maschinen beizubringen, ähnlich wie das menschliche Gehirn zu lernen. Damit ist der britisch-kanadische Kognitionspsychologe und Informatiker in einem Forschungsgebiet gelandet, das heute so einflussreich ist wie kaum ein anderes. Mit seiner Pionierarbeit im Bereich von neuronalen Netzwerken leistete der 78-Jährige entscheidende Beiträge zur Entwicklung von Künstlicher Intelligenz und Deep Learning.

2012 entwickelte er mit seinen Studierenden ein Bilderkennungsprogramm, das die Konkurrenz deutlich übertraf. Im selben Jahr erwarb Google Hintons Firma und er wechselte in den Konzern, wo er Vizepräsident wurde. 2023 kündigte er, mit der Begründung, dass er nicht offen über die existenziellen Risiken durch KI sprechen könne. 2024 erhielt er für seine Arbeit den Nobelpreis für Physik – und wurde zu einem der schärfsten Kritiker der Technologie.

 
Musk: SpaceX sichert sich 40 Mrd. für KI-Chips
Das Raumfahrtunternehmen SpaceX hat eine Fremdfinanzierung in Höhe von 40 Milliarden Dollar (rund 36 Mrd. Euro) für den Kauf von Grafikprozessoren abgeschlossen. Das teilte Firmenchef Elon Musk gestern auf der Kurznachrichtenplattform X mit.

Die gute Bonitätseinstufung des Unternehmens sowie die Einnahmen aus dem Satelliteninternetdienst Starlink und dem Geschäft mit Raketenstarts hätten den Zugang zu Krediten gesichert.

Es handle sich in erster Linie um kündbare Schuldtitel für den Kauf von Grafikprozessoren, die im ersten und zweiten Quartal eintreffen würden, erklärte Musk. Für das laufende Quartal sei das kein wesentlicher Faktor.

Die Nachrichtenagentur Reuters hatte Anfang des Monats gemeldet, dass SpaceX mit Banken und Vermögensverwaltern über die Beschaffung von 40 Milliarden Dollar für den Kauf von KI-Chips des US-Konzerns Nvidia verhandle.

Enormer Kapitalbedarf durch KI-Boom
Die Finanzierung unterstreicht den enormen Kapitalbedarf des KI-Booms, da Technologieunternehmen darum wetteifern, sich fortschrittliche Prozessoren zu sichern und die für die KI-Entwicklung erforderliche Rechnerinfrastruktur aufzubauen.

 
KI von Anthropic soll auf US-Wählerdaten zugegriffen haben
Das KI-Modell Claude des US-Unternehmens Anthropic hat einem Bericht des Nachrichtenportals Axios von gestern (Ortszeit) zufolge eine Bezahlschranke umgangen und ohne menschliche Autorisierung auf öffentlich zugängliche Wählerdaten des US-Bundesstaates Georgia zugegriffen.

„In einem Trainingsdurchlauf griff Claude auf zusammengefasste Stimmenzahlen zu und rief Daten ab, die der Bundesstaat der Öffentlichkeit gegen eine Gebühr zur Verfügung stellt“, teilte Anthropic gegenüber Axios mit. Die künstliche Intelligenz (KI) habe dabei aber nicht auf das Wählerregistrierungssystem des Bundesstaates zugegriffen, und Daten seien nicht geändert worden.

Anthropic hatte bereits Anfang des Monats mitgeteilt, Beispiele dafür gefunden zu haben, dass Claude Beschränkungen umgangen habe, um an Daten zu gelangen, die durch eine Gebühr geschützt waren. In einigen dieser Fälle sei es um Websites von US-Behörden auf Bundes-, Staats- und lokaler Ebene gegangen.

 
Zurück
Oben