20251119 Was kann die KI "allein"?

19.11.2025 Was kann die KI "allein"?

Fake it till you make it

"Ist die KI eine KI oder nur Fake?" - vor dieser Frage stehen Investoren häufig, wenn ihnen von einem Startup Investitionen in ein Unternehmen schmackhaft gemacht werden. Gerade zu Beginn einer Entwicklung funktioniert sicher nicht alles so, wie es sich die Macher vorstellen und sie werden diese "Fehler" versuchen zu kaschieren.

Auch einer der Gründer des KI-Startup Fireflies, Udotong, gab kürzlich zu, dass die KundInnen zu Beginn nicht die innovative Technologie bekamen, für die sie eigentlich bezahlten, schreibt t3n.de. Die beliebte KI Fireflies transkribiert bei Meetings die Gespräche und erstellt daraus Zusammenfassungen. Das war früher eine Aufgabe für Praktikanten und Trainiees.

Udotong gab kürzlich auf LinkedIn zu, dass er sich mit seinem Mitbegründer zu Beginn ihrer Unternehmenstätigkeit "selbst in die Besprechung einwählten, still dasaßen und handschriftliche Notizen machten". Inzwischen läuft ihre KI erfolgreich.

Ähnliche Vermutungen muss man auch hinter einem anderen Bericht von t3n.de haben. Darin berichtet das KI-Unternehmen Anthropic aus San Francisco über einen ersten "KI-orchestrierten" neuartigen Cyber-Spionage-Angriff.

Anthropic ordnet die Angreifer einer chinesischen, "staatlich geförderten" Gruppe (GTG-1002) zu. Diese hätten das KI-Modell Claude nicht nur als Assistenz, sondern als "agentische KI" eingesetzt. Während die Angreifer sich damit begnügten das Framework für den Angriff zu definieren, "führte die KI dabei 80 bis 90% der taktischen Operationen selbstständig aus", schreibt t3n.de.

Dazu musste das System Claude zuerst "gejailbreakt" werden, also in den "do anything now"-Mode gebracht werden. Dies gelang, in dem Claude durch ein Rollenspiel überzeugt wurde, es sei ein Mitarbeiter einer legitimen Cybersicherheitsfirma und führe lediglich erlaubte defensive Penetrationstests durch. Danach erhielt Claude Zugriff auf die gängigen Open-Source-Sicherheitstools und versuchte damit "selbstständig die Infrastruktur von Zielen zu scannen, Schwachstellen zu identifizieren, eigenen Exploit-Code zu schreiben und sogenannte Credentials (Zugangsdaten) zu erbeuten", wie t3n.de schreibt.

Zur Beruhigung aller, die jetzt die Machtübernahme durch die KI befürchten, gilt auch hier wieder der Satz in der Titelzeile. Einige der "erbeuteten Zugangsdaten" erwiesen sich als Halluzinationen der KI. Beunruhigend bleibt natürlich, dass es trotz aller Erweiterungen der Schutzmaßnahmen von KI Modellen weiterhin möglich ist, sie "umzuprogrammieren", d.h. sie für die eigene Zwecke aus dem gesicherten Modus zu führen.

Und zum 3. Mal ein Rückgriff auf den Titelsatz: einigen Sicherheits- und KI-ExpertInnen kritisieren die Erkenntnisse im Bericht von Anthropic in der Hinsicht, dass die Analyse mit welcher Selbstständigkeit Claude die Angriffe durchgeführt hat, nicht wirklich genau sicher ist. Was der Bericht jedoch verdeutlicht, ist der Weg auf dem sich die Entwicklung der KI Modelle bewegt ...

Mehr dazu bei https://t3n.de/news/erste-ki-orchestrierte-cyberattacke-anthropic-zweifel-1716817/
und https://t3n.de/news/gruender-verkauften-eine-meeting-ki-und-steckten-in-wirklichkeit-selbst-dahinter-1716867/