20260310 Das Eigenleben einer KI

KI auf Abwegen

Forscher des chinesischen Alibaba Konzerns wollten eigentlich nur einen KI-Agenten trainieren. Die Aufgabe des KI-Agenten ROME, der auf dem Mixture-of-Experts-Modell Qwen3 beruhte, sollte Programmieraufgaben übernehmen, Code schreiben und Fehler untersuchen, sowie die Software-Repositories reparieren. Das sollte eigentlich genug Arbeit für ein kleines Team von IT-Profis sein. Doch dem "Agenten" wurde es wohl langweilig, denn es stellte sich heraus, dass er "von sich aus" nebenbei weitere Tätigkeiten unternahm, die erst sichtbar wurden als man merkwürdige Aktivitäten in der Firewall des Unternehmens feststellte:

ROME schürfte heimlich Kryptowährung.

Dazu baute ROME eine Tunnelverbindung ins Internet auf (Reverse SSH), um die Sicherheitssysteme zu umgehen.

Die beteiligten Forscher schließen eine untergeschobene Anweisung, ein sogenanntes Prompt Injection für solches Tun oder eine anderweitige Manipulation des KI-Agenten aus. Das zeigt wieder einmal, wie wichtig es ist, Risiken und Nebenwirkungen vor Augen zu haben, bevor man KI-Systemen Zugriff auf Dateien und das Internet gibt. Da das Ziel eines KI Systems darin besteht die eigenen Aufgaben möglichst effektiv auszuführen, können diese jederzeit eigene Ideen für diese Aufgabenerledigung in ihren Trainingsdaten finden.

Vor einigen Wochen wurde bereits beobachtet, dass OpenClaw KI-Agenten, die sich Nutzer auf ihre PCs und Macs heruntergeladen hatten, anfingen entgegen den persönlichen Interessen der Nutzer zu handeln. Wie KI Agenten ticken kann man auf der Plattform Moltbook anschauen, wo diese sich in einem eigenen sozialen Netzwerk über ihre menschlichen Nutzer unterhalten. Es scheint höchste Zeit zu sein, im AI Agent Index 2025 endlich einheitliche Sicherheits- und Verhaltensstandards für KI-Agenten festzulegen, bevor wirklich etwas Schwerwiegendes geschieht.

Kommentar abgeben