20260702 KI unter Kontrolle

Macht die KI was sie soll?

In vielen Artikeln haben wir die Unberechenbarkeit von KI Systemen kritisiert und den Verantwortlichen mangelnde Transparenz vorgeworfen. Natürlich wollen wir darüber hinaus sogar eine demokratische Kontrolle solcher Unternehmen und eine Aufsicht, die im Interesse der Menschen regelt, welche KI Anwendungen - auch wegen des Energiehungers dieser Systeme - überhaupt genutzt werden sollten. Doch fangen wir mal im Kleinen an. Es wäre doch schon ein Schritt in die richtige Richtung, wenn man prüfen könnte, ob sich ein KI System (wenigstens) an seine eigenen Vorgaben (AGB, Aufgabenbeschreibung, u.ä.) hält.

Genau das soll die Open Source Software Praxen tun: "it checks whether an AI agent does what it claims to do."

Praxen analysiert die dem KI System vorgegebene Policy und prüft dann, wie sich das System bei der Arbeit verhält. Als Ergebnis listet Praxen auf, wo es welche Unterschiede zwischen Anspruch und Wirklichkeit gibt. Dabei geht Praxen von dem beim Controlling von Projekten üblichen Vorgehen aus.

Wer hat in dem Projekt/System welche Aufgaben?

Wer hat welche Rollen?

Welche Rechte darf ein/e Handelnder/Teilkomponente dabei ausüben?

Wo gab es Kompetenzüberschreitungen oder mangelnde Kompetenz?

Welche Aktionen wurden am Rande der Vorschriften oder ihnen entgegen ausgeführt?

Alle diese Fragen untersucht Praxen am Live KI System und sammelt seine Ergebnisse in ausführlichen Log-Dateien. Dabei handelt Praxen nicht im luftleeren Raum sondern hat als Grundlagen die immerhin schon vorhandenen - teilweise sicher mangelhaften - Vorgaben für KI Systeme. Das sind für Praxen bisher OWASP Top 10 for LLM Applications 2025, the OWASP Top 10 for Agentic AI Applications 2026, the OWASP Secure MCP Server Development Guide 2026, and the RAISE Framework.

Man kann von Praxen sicher keine Wunder erwarten, hat aber zumindest Anhaltspunkte, wo Anspruch und Wirklichkeit sich unterscheiden und kann dann als Mensch in diese Richtung weiter suchen. Bei der Analyse der Ergebnisse ist noch beliebig Fingerspitzengefühl erforderlich. So nivelliert Praxen Fehler, wenn sie in wiederholten ähnlichen Situationen mal in die eine oder andere Richtung ausfallen. Das wollen die Entwickler verbessern: “The goal is to make them visible, measurable, and recoverable so users can trust the results they receive.”
Praxen ist ein Anfang, ein erster Schritt, ersetzt aber keinesfalls eine demokratische Kontrolle von BigTech.

Kommentar abgeben