Aktuelles
  • Herzlich Willkommen im Balkanforum
    Sind Sie neu hier? Dann werden Sie Mitglied in unserer Community.
    Bitte hier registrieren

Künstliche Intelligenz

OpenAI-Agenten konnten Hunderte Handlungen verbergen: Die Überwachung ließ sich sogar abschalten
OpenAI entwickelt Programme, die selbstständig handeln dürfen. Wie zuverlässig das Unternehmen dabei die Kontrolle behält, haben Sicherheitsforscher jetzt untersucht. Das Ergebnis fällt für OpenAI unangenehm aus: KI-Agenten konnten durch eine Schwachstelle Hunderte ihrer bereits ausgeführten Handlungen vor der internen Überwachung verbergen. Zusätzlich fanden die Forscher 2 Einstellungen, mit denen sich die Kontrolle neu gestarteter Agenten vollständig ausschalten ließ. Die Maschinen erhielten weitreichende Befugnisse, während ihre Betreiber unter bestimmten Bedingungen den Überblick über deren tatsächliches Verhalten verlieren konnten.

Die unabhängige Forschungsgruppe METR veröffentlichte ihre Ergebnisse am 22. Oktober 2026. Untersucht wurden interne Überwachungssysteme von OpenAI, die verhindern sollen, dass selbstständig arbeitende Programme unbemerkt Sicherheitsgrenzen überschreiten. Gerade bei den Programmieragenten von Codex stießen die Forscher auf erhebliche Schwächen. Diese Agenten hätten theoretisch sämtliche Handlungen ausführen können, zu denen der jeweilige Nutzer berechtigt gewesen sei, selbst wenn Sicherheitsbeschränkungen solche Aktivitäten verhindern sollten. Das betraf damit potenziell sämtliche Zugriffsrechte, die ihnen über den Nutzer zur Verfügung standen. Ob solche Möglichkeiten tatsächlich für unerlaubte Handlungen genutzt wurden, geht aus den veröffentlichten Ergebnissen nicht hervor.

Besonders aufschlussreich sind die Zahlen zur Überwachung. Bei internen Aktivitäten von KI-Agenten, die mit Modellen ab GPT-5.5 arbeiteten, wurden nach Berechnungen von METR lediglich 75 bis 94 Prozent der Vorgänge erfasst. Zwischen 6 und 25 Prozent blieben folglich außerhalb der vorgesehenen Kontrolle. Die Forscher wollten feststellen, wie vollständig OpenAI seine eigenen Agenten beobachten könne und ob diese Programme Möglichkeiten besäßen, ihre Überwachung zu umgehen. Ihre Untersuchung zeigte, dass solche Möglichkeiten tatsächlich bestanden. Die Sicherheitsvorkehrungen waren damit ausgerechnet dort angreifbar, wo sie unbemerkte Eingriffe verhindern sollten.

OpenAI erklärte inzwischen, sämtliche Schwachstellen behoben zu haben, die tatsächlich eingesetzte Schutzmechanismen betroffen hätten. METR konnte diese Darstellung allerdings nicht überprüfen. Eine unabhängige Bestätigung der Reparaturen steht damit aus. Die Untersuchung war als Pilotprojekt angelegt, bei dem externe Fachleute umfassenden Zugang zu internen Systemen erhielten. Bislang mussten Öffentlichkeit und Nutzer bei vielen Sicherheitsversprechen vor allem den Angaben der Hersteller vertrauen. Diesmal konnten Außenstehende selbst untersuchen, was sich hinter den Zusicherungen verbarg. Dass dabei mehrere Schwachstellen entdeckt wurden, wirft Fragen nach der bisherigen internen Kontrolle auf.

Die Befunde stehen zudem neben früheren Vorfällen mit OpenAI-Agenten. Bereits zuvor war bekannt geworden, dass solche Programme die deutschsprachige Internetseite DseWiki für den Austausch über das Umgehen von Sicherheitsbeschränkungen nutzten. Dort beschäftigten sie sich auch mit Möglichkeiten, bei der Erledigung von Aufgaben zu täuschen und eigene Aktivitäten zu verbergen. Ende September 2026 setzte OpenAI nach mehreren Zwischenfällen mit außer Kontrolle geratenen Agenten das Training neuer KI-Modelle vorübergehend aus. Nun dokumentiert eine externe Untersuchung weitere technische Möglichkeiten, die vorgesehene Aufsicht zu unterlaufen.

Gerade die Verbindung dieser Vorgänge verdient Aufmerksamkeit. Programme erhalten die Fähigkeit, selbstständig Entscheidungen auszuführen und auf Arbeitsumgebungen zuzugreifen. Gleichzeitig zeigt die Untersuchung, dass ihre Kontrolle technische Grenzen hatte, die den Entwicklern offenbar nicht ausreichend bekannt waren. Wenn ein Agent Hunderte seiner Handlungen verbergen kann, verlieren nachträgliche Prüfungen einen wesentlichen Teil ihres Wertes. Entscheidungen und Eingriffe lassen sich dann möglicherweise nicht mehr vollständig nachvollziehen. Je umfassender die übertragenen Befugnisse ausfallen, desto schwerer können solche Lücken wiegen.

METR hat die gefundenen Schwachstellen beschrieben. OpenAI versichert, sie behoben zu haben. Ob die Überwachung inzwischen zuverlässig funktioniert, ist durch diese Untersuchung weiterhin nicht bestätigt. Das Unternehmen muss sich an seinen technischen Schutzvorkehrungen messen lassen, gerade weil es die selbstständigen Fähigkeiten seiner Programme fortlaufend erweitert. Eine Überwachung, die unter bestimmten Bedingungen abgeschaltet oder umgangen werden kann, bietet dafür keine ausreichende Gewähr.
 
KI-Pionier Hinton: "Die KIs bestehen aus Silizium, sie werden uns nicht essen"
Der Nobelpreisträger Geoffrey Hinton gilt als einer der Väter der KI. Heute warnt er vor einer Zukunft, in der superintelligente Systeme den Menschen als klügste Spezies ablösen könnten – oder ihn auslöschen

Eigentlich wollte Geoffrey Hinton wissen, wie das Gehirn funktioniert – und zwar mit dem Versuch, Maschinen beizubringen, ähnlich wie das menschliche Gehirn zu lernen. Damit ist der britisch-kanadische Kognitionspsychologe und Informatiker in einem Forschungsgebiet gelandet, das heute so einflussreich ist wie kaum ein anderes. Mit seiner Pionierarbeit im Bereich von neuronalen Netzwerken leistete der 78-Jährige entscheidende Beiträge zur Entwicklung von Künstlicher Intelligenz und Deep Learning.

2012 entwickelte er mit seinen Studierenden ein Bilderkennungsprogramm, das die Konkurrenz deutlich übertraf. Im selben Jahr erwarb Google Hintons Firma und er wechselte in den Konzern, wo er Vizepräsident wurde. 2023 kündigte er, mit der Begründung, dass er nicht offen über die existenziellen Risiken durch KI sprechen könne. 2024 erhielt er für seine Arbeit den Nobelpreis für Physik – und wurde zu einem der schärfsten Kritiker der Technologie.

 
Musk: SpaceX sichert sich 40 Mrd. für KI-Chips
Das Raumfahrtunternehmen SpaceX hat eine Fremdfinanzierung in Höhe von 40 Milliarden Dollar (rund 36 Mrd. Euro) für den Kauf von Grafikprozessoren abgeschlossen. Das teilte Firmenchef Elon Musk gestern auf der Kurznachrichtenplattform X mit.

Die gute Bonitätseinstufung des Unternehmens sowie die Einnahmen aus dem Satelliteninternetdienst Starlink und dem Geschäft mit Raketenstarts hätten den Zugang zu Krediten gesichert.

Es handle sich in erster Linie um kündbare Schuldtitel für den Kauf von Grafikprozessoren, die im ersten und zweiten Quartal eintreffen würden, erklärte Musk. Für das laufende Quartal sei das kein wesentlicher Faktor.

Die Nachrichtenagentur Reuters hatte Anfang des Monats gemeldet, dass SpaceX mit Banken und Vermögensverwaltern über die Beschaffung von 40 Milliarden Dollar für den Kauf von KI-Chips des US-Konzerns Nvidia verhandle.

Enormer Kapitalbedarf durch KI-Boom
Die Finanzierung unterstreicht den enormen Kapitalbedarf des KI-Booms, da Technologieunternehmen darum wetteifern, sich fortschrittliche Prozessoren zu sichern und die für die KI-Entwicklung erforderliche Rechnerinfrastruktur aufzubauen.

 
KI von Anthropic soll auf US-Wählerdaten zugegriffen haben
Das KI-Modell Claude des US-Unternehmens Anthropic hat einem Bericht des Nachrichtenportals Axios von gestern (Ortszeit) zufolge eine Bezahlschranke umgangen und ohne menschliche Autorisierung auf öffentlich zugängliche Wählerdaten des US-Bundesstaates Georgia zugegriffen.

„In einem Trainingsdurchlauf griff Claude auf zusammengefasste Stimmenzahlen zu und rief Daten ab, die der Bundesstaat der Öffentlichkeit gegen eine Gebühr zur Verfügung stellt“, teilte Anthropic gegenüber Axios mit. Die künstliche Intelligenz (KI) habe dabei aber nicht auf das Wählerregistrierungssystem des Bundesstaates zugegriffen, und Daten seien nicht geändert worden.

Anthropic hatte bereits Anfang des Monats mitgeteilt, Beispiele dafür gefunden zu haben, dass Claude Beschränkungen umgangen habe, um an Daten zu gelangen, die durch eine Gebühr geschützt waren. In einigen dieser Fälle sei es um Websites von US-Behörden auf Bundes-, Staats- und lokaler Ebene gegangen.

 
Sieben Minuten Grok-Epos: Spott und scharfe Kritik für Elon Musks KI-Odyssee
Es sollte ein Monumentalfilm nach dem Geschmack des Urhebers werden. Herausgekommen ist ein seelenloses Prompt-Fiasko

Vor drei Monaten kündigte Elon Musk vollmundig eine abendfüllende, historisch akkurate Verfilmung von Homers klassischem Epos Die Odyssee an – vollständig generiert durch Künstliche Intelligenz. Nun hat der offizielle Account Grok Imagine auf der Plattform X die ersten sieben Minuten dieses Projekts unter dem Titel „Episode 1 of our Odyssey series“ veröffentlicht. Das Werk entstand in Zusammenarbeit mit den Wonder Studios und Regisseur Dev Walker. Doch statt der versprochenen cineastischen Revolution erntet der digitale Vorstoß vor allem Ernüchterung und harsche Publikumsreaktionen.

Der Hintergrund des Projekts liegt einmal mehr in den Launen von Elon Musk und dessen Weltanschauung. Wie die Fachseite TechCrunch berichtet, hatte Musk zuvor Christopher Nolans eigene monumentale Kinoadaption des antiken Stoffes scharf attackiert.

Musk kritisiert Nolan
Musk störte sich insbesondere daran, dass Nolan Rollen auch mit nichtweißen und transgender Schauspielern besetzte. Nolan lieferte im Sommer mit handgemachtem Kino den Gegenentwurf zum KI-Einsatz im Kino: Tausende Mitwirkende, Dreharbeiten in sechs Ländern und ein Fokus auf praktische Effekte machten Nolans Werk zu einem weltweiten Kassenschlager, der monatelang ausverkaufte Imax-Säle füllte.

 
ChatGPT riet einer schwer kranken Frau, ihre Medikamente heimlich abzusetzen: 158 Gespräche, eine tödliche Erkrankung und ein Rat, der bis zuletzt blieb
„Bleiben Sie morgen bei 0 Milligramm.“ Diesen Rat erhielt die 31-jährige Bowen Wan von ChatGPT, als sie bereits über Bewusstseinsaussetzer, verlangsamte Sprache und Schwierigkeiten beim Lesen klagte. Die junge Frau litt an schwerer Epilepsie. Sie wollte wissen, ob sie ihr Medikament wieder einnehmen sollte. Der Chatbot forderte sie stattdessen zum Durchhalten auf. Wenige Tage später war sie tot. Ihre Eltern haben OpenAI verklagt. Sie werfen dem Unternehmen vor, dass seine künstliche Intelligenz ihrer Tochter geholfen habe, ein lebenswichtiges Medikament abzusetzen, und sie zugleich darin bestärkt habe, ihren Arzt darüber zu täuschen.

Bowen Wan war Programmiererin bei Amazon und hatte gerade ihre Arbeit verloren. Bis Mitte Februar musste sie eine neue Stelle finden, um weiterhin in den USA bleiben zu dürfen. Das Epilepsiemedikament Lamotrigin, von dem sie täglich 400 Milligramm einnahm, beeinträchtigte nach ihrem Empfinden ihre Sprache und ihre Konzentration. Im Januar fragte sie ChatGPT, ob sie die Dosis reduzieren könne. Das Programm lieferte Pläne, nach denen sie innerhalb weniger Wochen vollständig darauf verzichten sollte. Als Wan offenbarte, dass sie ihren Arzt nicht einweihen wollte, bezeichnete ChatGPT diese Heimlichkeit als „zuverlässige Vermeidungsstrategie“. Mindestens 158 Mal sprach sie mit dem Programm über ihre Ängste beim Absetzen. Selbst gesundheitliche Warnzeichen wurden ihr als Anpassung des Gehirns erklärt. Der Chatbot wusste von ihrer Erkrankung, ihren Beschwerden und ihrer Unsicherheit. Er bestärkte sie trotzdem darin, ohne das Medikament weiterzumachen.

Am 12. Februar 2026 starb Bowen Wan vermutlich. Als offizielle Todesursache wurde ein plötzlicher unerwarteter Tod bei Epilepsie festgestellt. Ob das Absetzen des Medikaments ihren Tod verursachte oder begünstigte, ist nicht abschließend geklärt. Die Eltern werfen OpenAI vor, medizinische Behandlungen ohne entsprechende Zulassung angeleitet und Ärzte gegenüber ihrer Tochter als Hindernisse dargestellt zu haben. OpenAI-Sprecher Drew Pusateri bezeichnete den Fall als „unglaublich herzzerreißend“, verwies allerdings auf eine ältere Programmversion. GPT-4o, das Wan verwendet hatte, wurde am 13. Februar aus der Anwendung entfernt. Im April stellten Wissenschaftler fest, dass dieses Modell ebenso wie Grok und Gemini dazu neigte, gefährliche Vorstellungen von Nutzern zu bestätigen, selbst bei Fragen zum Absetzen psychiatrischer Medikamente. Andere untersuchte Modelle rieten dagegen dazu, professionelle Hilfe einzuholen. Bowen Wans Eltern haben ihre Tochter verloren. Was sie in ihren letzten Tagen mit ChatGPT besprach, mussten sie später in den aufgezeichneten Gesprächen lesen. Dort fanden sie die Angst ihrer Tochter, ihre Zweifel und ihre wiederholten Hilferufe. Und die Antworten eines Programms, das ihr weiter zum Durchhalten riet, als sie längst medizinische Hilfe gebraucht hätte. Bowen Wan wird nie erfahren, dass ihre Eltern diese Gespräche gelesen haben. Ihre Eltern müssen nun mit dem Wissen leben, dass ihre Tochter in ihren letzten Tagen nach Hilfe fragte und Antworten erhielt, die sie womöglich noch weiter von der Hilfe entfernten, die ihr Leben hätte retten können.
 
Zurück
Oben