Agentische KI

Benchmarks: wie man Agenten misst

Begriffe vorab

• Benchmark: eine festgelegte Aufgabensammlung mit Bewertungsregel, an der man Systeme vergleicht.
• Erfolgsrate: Anteil der Aufgaben, die vollständig gelöst werden.
• Trajektorie: die Folge von Schritten, die ein Agent bis zum Ergebnis geht.
• Überanpassung an den Benchmark: Systeme werden auf bekannte Testaufgaben optimiert und schneiden im Alltag schlechter ab.

Warum Agenten schwerer zu messen sind

Bei einem Modell prüft man eine Antwort. Bei einem Agenten zählt, ob die Aufgabe erledigt wurde – oft über viele Schritte, mit Werkzeugen und manchmal im Dialog mit einer Person. Gute Benchmarks simulieren deshalb eine Umgebung und prüfen das Endergebnis.

Vier viel genutzte Benchmarks

• SWE-bench (Jimenez et al., ICLR 2024): 2.294 Softwareprobleme aus echten GitHub-Issues in 12 beliebten Python-Projekten. Das Modell soll den Code so ändern, dass das Problem behoben ist.
• WebArena (Zhou et al., ICLR 2024): eine realistische, reproduzierbare Webumgebung mit funktionierenden Websites aus vier Bereichen – Onlinehandel, Diskussionsforum, gemeinsame Softwareentwicklung und Inhaltsverwaltung.
• GAIA (Mialon et al., ICLR 2024): Fragen aus der Praxis, die Schlussfolgern, Multimodalität, Web-Recherche und Werkzeugnutzung verlangen. In der Veröffentlichung erreichten Menschen 92 %, GPT-4 mit Plug-ins 15 %.
• τ-bench (Yao et al., 2024): bewertet Agenten im Zusammenspiel mit einer simulierten Nutzerin und Werkzeugen in Kundenservice-Bereichen, wobei domänenspezifische Regeln eingehalten werden müssen.

Ein Beispiel für die Lesart von Zahlen

Die 15 % bei GAIA stammen aus dem Jahr der Veröffentlichung und beschreiben ein damaliges Modell. Aktuelle Systeme schneiden deutlich anders ab; wer eine Zahl nennt, muss Modell, Version und Messzeitpunkt dazusagen.

Worauf man bei Ergebnissen achten sollte

• Wurde auf einem Teil der Aufgaben trainiert oder abgestimmt, den andere nicht kennen?
• Ist die Erfolgsrate über mehrere Läufe stabil? Agenten verhalten sich nicht deterministisch.
• Wie viel kostet ein Lauf an Zeit und Geld?
• Entspricht der Benchmark meinem Einsatzfall?

Der verlässlichste Test ist ein eigener: 20 bis 50 echte Aufgaben aus dem Einsatzgebiet, vorab festgelegte Erfolgskriterien, mehrere Läufe.

Zum Selbermachen

1. Sammle 20 reale Aufgaben und lege fest, woran man „erledigt“ erkennt.
2. Lass einen Agenten jede dreimal bearbeiten und vergleiche die Erfolgsrate und die Kosten.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten. Die genannten Prozentwerte sind Angaben der jeweiligen Veröffentlichung zum damaligen Stand.

Quellen

• Jimenez et al. – „SWE-bench: Can Language Models Resolve Real-World GitHub Issues?“ (ICLR 2024)
• Zhou et al. – „WebArena: A Realistic Web Environment for Building Autonomous Agents“ (ICLR 2024)
• Mialon et al. – „GAIA: A Benchmark for General AI Assistants“ (ICLR 2024)
• Yao, Shinn, Razavi, Narasimhan – „τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains“ (2024, arXiv 2406.12045)

Grundbegriffe: Was ist agentische KI?

Begriffe vorab

• Agent: nach dem Lehrbuch von Russell und Norvig alles, was seine Umgebung über Sensoren wahrnimmt und über Aktuatoren darauf einwirkt.
• Autonomie: die Fähigkeit, ohne ständiges Eingreifen eines Menschen zu handeln.
• Werkzeug (Tool): eine Funktion oder Schnittstelle, die ein Agent aufrufen kann, etwa Suche, Datenbank oder Code-Ausführung.
• Agentenschleife: der wiederholte Ablauf aus Wahrnehmen, Entscheiden und Handeln, bis das Ziel erreicht ist.
• Agentische KI: Sammelbegriff für KI-Systeme, die Ziele mehrschrittig und mit eigenen Entscheidungen über Werkzeugeinsätze verfolgen.

Der klassische Begriff

Der Begriff „Agent“ ist älter als moderne Sprachmodelle. Im Standardlehrbuch „Artificial Intelligence: A Modern Approach“ heißt es sinngemäß: Ein Agent ist alles, was seine Umgebung über Sensoren wahrnimmt und über Aktuatoren darauf einwirkt. Ein Thermostat erfüllt das, ein Roboter ebenso, und ein Softwareprogramm, das Eingaben liest und Aktionen ausführt, auch. Wooldridge und Jennings (1995) nannten vier Eigenschaften, die einen „intelligenten“ Agenten auszeichnen: Autonomie, soziale Fähigkeit (Interaktion mit anderen Agenten und Menschen), Reaktivität (Antwort auf Veränderungen der Umgebung) und Proaktivität (zielgerichtetes Verhalten).

Was heute gemeint ist

Mit „agentischer KI“ ist meist ein System gemeint, bei dem ein Sprachmodell die Entscheidungen trifft: Es bekommt ein Ziel, wählt Schritte, ruft Werkzeuge auf, wertet die Ergebnisse aus und entscheidet, ob es weitermacht oder fertig ist. OpenAI beschreibt in einem Leitfaden von April 2025 einen Agenten als System aus drei Kernbausteinen: einem Modell, Werkzeugen und Anweisungen. Entscheidend ist, dass das System mehrere Schritte selbstständig im Auftrag einer Person ausführt, statt nur eine einzelne Frage zu beantworten.

Die Agentenschleife als Pseudocode

aufgabe = "Fasse die offenen Support-Tickets der Woche zusammen"
verlauf = [aufgabe]

for schritt in range(MAX_SCHRITTE):          # harte Obergrenze
    antwort = modell(verlauf, werkzeuge)      # Modell entscheidet
    if antwort.ist_fertig:
        return antwort.text
    for aufruf in antwort.werkzeugaufrufe:
        pruefen(aufruf)                       # Rechte, Freigabe, Grenzwerte
        ergebnis = ausfuehren(aufruf)
        verlauf.append(ergebnis)              # Beobachtung zurück in den Kontext

Der Pseudocode zeigt das Wesentliche: Die Anwendung führt Werkzeugaufrufe aus und kontrolliert sie; das Modell entscheidet nur, welche es anfordert. Eine Obergrenze für Schritte und eine Prüfung vor jedem Aufruf gehören zu jedem ernsthaften Agenten.

Ein durchgespieltes Beispiel

Ein Support-Agent soll Tickets der Woche zusammenfassen. Er ruft ein Werkzeug „Tickets abrufen“ auf, liest 40 Einträge, ruft für unklare Fälle „Kundenhistorie“ ab, gruppiert die Ergebnisse und liefert eine Zusammenfassung. Wie viele Aufrufe nötig sind und in welcher Reihenfolge, entscheidet das Modell erst unterwegs – das unterscheidet ihn von einem festen Skript.

Faustregel: Je mehr Entscheidungsfreiheit ein System hat, desto wichtiger werden Grenzen, Protokolle und menschliche Kontrolle.

Zum Selbermachen

1. Nenne drei Anwendungen, die du nutzt, und prüfe, ob sie nur antworten oder selbst mehrere Schritte planen und ausführen.
2. Zeichne die Agentenschleife für eine Aufgabe aus deinem Alltag und markiere, wo ein Mensch zustimmen sollte.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten. Der Pseudocode ist schematisch und kein lauffähiges Programm.

Quellen

• Stuart Russell, Peter Norvig – „Artificial Intelligence: A Modern Approach“, Kapitel „Intelligent Agents“ (Definition: Wahrnehmung über Sensoren, Handeln über Aktuatoren)
• Michael Wooldridge, Nicholas R. Jennings – „Intelligent Agents: Theory and Practice“ (The Knowledge Engineering Review, 10(2), 1995, S. 115–152)
• OpenAI – „A Practical Guide to Building Agents“ (April 2025)

Literatur und Lesepfad: kommentierte Auswahl

Begriffe vorab

• Primärquelle: die Originalveröffentlichung einer Studie oder Spezifikation.
• Sekundärquelle: ein Text, der Primärquellen zusammenfasst oder einordnet.
• Preprint: eine Veröffentlichung vor der Begutachtung, etwa auf arXiv.
• Survey: ein Überblicksartikel zu einem Forschungsfeld.

So ist die Literaturliste aufgebaut

Die Liste ist nach einem Lesepfad geordnet: erst Begriffe, dann Bausteine, dann Praxis, dann Sicherheit. Jeder Eintrag nennt, was er leistet. Alle Angaben (Titel, Autoren, Jahr, Fundort) wurden geprüft.

1. Grundlagen und Begriffe

• Russell, Norvig – „Artificial Intelligence: A Modern Approach“. Standardlehrbuch; das Kapitel zu intelligenten Agenten liefert die klassische Definition über Sensoren und Aktuatoren.
• Wooldridge, Jennings (1995) – „Intelligent Agents: Theory and Practice“, The Knowledge Engineering Review 10(2), 115–152. Die vier Eigenschaften intelligenter Agenten.
• Anthropic (Dezember 2024) – „Building effective agents“. Praxisleitfaden mit der Unterscheidung von Workflows und Agenten und den fünf Mustern.
• OpenAI (April 2025) – „A Practical Guide to Building Agents“. Leitfaden zu Modell, Werkzeugen und Anweisungen.

2. Bausteine

• Weng (2023) – „LLM Powered Autonomous Agents“. Verständlicher Überblick über Planung, Gedächtnis und Werkzeugnutzung.
• Wei et al. (NeurIPS 2022) – Chain-of-Thought Prompting. Grundlage des schrittweisen Denkens.
• Yao et al. (ICLR 2023) – ReAct. Denken und Handeln verzahnen.
• Shinn et al. (NeurIPS 2023) – Reflexion. Lernen aus Fehlversuchen mit sprachlicher Rückschau.
• Schick et al. (NeurIPS 2023) – Toolformer. Selbstüberwachtes Lernen der Werkzeugnutzung.
• Park et al. (UIST 2023) – Generative Agents. Gedächtnis, Reflexion und Planung in einer Simulation mit 25 Agenten.

3. Protokolle und Praxis

• Anthropic (26. November 2024) – „Introducing the Model Context Protocol“. Der offene Standard für Werkzeuganbindung.
• Google (9. April 2025) – Ankündigung des Agent2Agent-Protokolls. Zusammenarbeit zwischen Agenten.

4. Messung

• Jimenez et al. (ICLR 2024) – SWE-bench. Echte GitHub-Probleme als Aufgaben.
• Zhou et al. (ICLR 2024) – WebArena. Realistische Webumgebung.
• Mialon et al. (ICLR 2024) – GAIA. Allgemeine Assistenzaufgaben.
• Yao et al. (2024) – τ-bench. Agent, Nutzer und Werkzeuge im Zusammenspiel.

5. Sicherheit

• Willison (2025) – „The lethal trifecta for AI agents“. Das Dreierrisiko in einem Satz.
• Meta (2025) – „Agents Rule of Two“. Eine praktische Konstruktionsregel.
• OWASP (2025) – „Agentic AI – Threats and Mitigations“ und „Top 10 for Agentic Applications 2026“. Bedrohungskataloge für Agenten.

Ein Lesepfad für Einsteiger

1. Anthropic „Building effective agents“ (Überblick, ca. eine Stunde).
2. Weng „LLM Powered Autonomous Agents“ (Begriffe und Bausteine).
3. ReAct und Reflexion (die Kerngedanken der Bausteine).
4. Willison zur „lethal trifecta“ und Metas Rule of Two (Sicherheit).
5. Ein Benchmark-Paper deiner Wahl, um zu verstehen, wie gemessen wird.

Lies bei Studien immer Methode und Einschränkungen, nicht nur die Zusammenfassung und die Zahlen.

Zum Selbermachen

1. Lies den Anthropic-Beitrag und schreibe in fünf Sätzen auf, wann du keinen Agenten bauen würdest.
2. Wähle ein Paper und notiere Methode, Ergebnis und Grenzen.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten. Die Reihenfolge des Lesepfads und die Einordnung der Einträge sind meine Empfehlung.

Quellen

• Die vollständigen Angaben stehen in den Quellenlisten der vorherigen Lektionen dieser Themenwelt.
• Fundorte: arXiv (arxiv.org), OpenReview (openreview.net), die Proceedings von NeurIPS, ICLR und UIST sowie die Webseiten der Anbieter (anthropic.com, openai.com, developers.googleblog.com, genai.owasp.org).

Multi-Agenten-Systeme: Rollen, Orchestrierung, Generative Agents

Begriffe vorab

• Multi-Agenten-System: mehrere Agenten, die zusammenarbeiten oder miteinander kommunizieren.
• Rolle: eine Aufgabe oder Perspektive, die einem Agenten zugewiesen wird.
• Gedächtnisstrom (Memory Stream): eine fortlaufende, in Sprache gespeicherte Aufzeichnung der Erlebnisse eines Agenten.
• Delegation: die Übergabe einer Teilaufgabe an einen anderen Agenten.

Wozu mehrere Agenten?

Mehrere Agenten lohnen sich, wenn Teilaufgaben unterschiedliche Anweisungen, Werkzeuge oder Perspektiven brauchen. Ein Agent mit einer langen, überladenen Anweisung und vielen Werkzeugen wählt häufiger falsch; mehrere Spezialisten mit kurzen Anweisungen sind leichter zu steuern und zu testen. Dem steht Mehraufwand gegenüber: Übergaben kosten Zeit und Geld, und Missverständnisse zwischen Agenten sind zusätzliche Fehlerquellen.

Orchestrator-Worker als Grundform

Die am häufigsten beschriebene Struktur ist das Orchestrator-Worker-Muster: Ein Orchestrator zerlegt die Aufgabe dynamisch, verteilt sie an Worker und führt die Ergebnisse zusammen (siehe die vorige Lektion). Der Orchestrator braucht dafür Überblick und klare Regeln, wann eine Aufgabe fertig ist.

Ein berühmtes Experiment: Generative Agents

Park et al. (UIST 2023) erweiterten ein Sprachmodell um einen Gedächtnisstrom, in dem alle Erlebnisse in natürlicher Sprache gespeichert werden, um verdichtete Reflexionen und um Planung. In einer Simulation im Stil des Spiels „Die Sims“ lebten 25 solcher Agenten in einer kleinen Stadt und konnten von Nutzenden in natürlicher Sprache angesprochen werden. Die Arbeit zeigt, wie sich aus Gedächtnis, Reflexion und Planung glaubwürdig wirkendes Verhalten ergeben kann; sie ist eine Forschungsdemonstration, kein Produktionssystem.

Ein Beispiel aus der Praxis

Ein Programmier-Team nutzt drei Rollen: einen Planer, der die Änderung beschreibt, einen Umsetzer, der den Code schreibt, und einen Prüfer, der Tests ausführt und Befunde zurückmeldet. Ein menschlicher Entwickler gibt die Änderung am Ende frei.

Mehr Agenten bedeuten nicht automatisch bessere Ergebnisse. Jede Übergabe ist eine Stelle, an der Information verloren gehen oder ein Fehler sich verstärken kann. Miss, ob die Aufteilung gegenüber einem einzelnen, gut ausgestatteten Agenten tatsächlich etwas bringt.

Zum Selbermachen

1. Skizziere ein Drei-Rollen-System für eine Aufgabe aus deinem Alltag.
2. Lege fest, welche Information jede Rolle übergeben muss und wer am Ende entscheidet.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten. Die Aussagen zum Nutzen und zu den Nachteilen mehrerer Agenten sind Einordnung, keine Messung aus den genannten Quellen.

Quellen

• Park et al. – „Generative Agents: Interactive Simulacra of Human Behavior“ (UIST ’23, ACM, Oktober 2023)
• Anthropic – „Building effective agents“ (Dezember 2024): Orchestrator-Workers
• Lilian Weng – „LLM Powered Autonomous Agents“ (Juni 2023)

Muster: von der Verkettung zum Orchestrator

Begriffe vorab

• Muster (Pattern): eine bewährte Bauform für ein wiederkehrendes Problem.
• Orchestrator: ein zentrales Modell, das Aufgaben verteilt.
• Gate: eine programmatische Prüfung zwischen zwei Schritten.
• Voting: dieselbe Aufgabe mehrfach lösen und die Ergebnisse vergleichen.

Fünf Workflow-Muster

Anthropic beschreibt in „Building effective agents“ fünf Muster, die vom einfachen Workflow zum Agenten führen:

1. Prompt Chaining (Verkettung): Eine Aufgabe wird in eine Folge von Schritten zerlegt, jeder Modellaufruf verarbeitet die Ausgabe des vorigen. Zwischen den Schritten können Prüfungen (Gates) stehen.
2. Routing: Eingaben werden klassifiziert und an spezialisierte Folgeschritte geleitet, sodass jeder Prompt fokussiert bleibt.
3. Parallelisierung: Modelle arbeiten gleichzeitig, die Ergebnisse werden programmatisch zusammengeführt – entweder als Sectioning (unabhängige Teilaufgaben) oder als Voting (dieselbe Aufgabe mehrfach für vielfältigere Ergebnisse).
4. Orchestrator-Worker: Ein zentrales Modell zerlegt die Aufgabe dynamisch, verteilt sie an Worker-Modelle und fasst die Ergebnisse zusammen. Anders als bei der Parallelisierung sind die Teilaufgaben nicht vorab festgelegt.
5. Evaluator-Optimizer: Ein Modell erzeugt, ein anderes bewertet; in einer Schleife verbessert sich das Ergebnis.

Ein durchgespieltes Beispiel: Übersetzung einer Produktseite

Prompt Chaining: Rohübersetzung → Fachbegriffe prüfen → Tonfall angleichen. Routing: Rechtstexte gehen an einen Prompt mit Rechtsvokabular, Marketingtexte an einen mit Markenstil. Parallelisierung (Voting): Drei Übersetzungen werden verglichen, Abweichungen markiert. Evaluator-Optimizer: Eine Prüfinstanz bewertet nach Kriterienliste, der Übersetzer verbessert, bis alle erfüllt sind. Orchestrator-Worker: sinnvoll, wenn nicht klar ist, wie viele Dateien betroffen sind.

Wie man die Muster wählt

• Mit der einfachsten Lösung beginnen und nur bei messbarem Nutzen erweitern.
• Jede Stufe misst Kosten, Zeit und Qualität – komplexere Muster erhöhen alle drei.
• Gates und Obergrenzen verhindern, dass Fehler sich fortpflanzen oder Schleifen endlos laufen.

In der Praxis werden die Muster kombiniert. Ein Orchestrator kann etwa Worker parallel starten und das Ergebnis über einen Evaluator laufen lassen.

Wann welches Muster?

Prompt Chaining passt, wenn sich eine Aufgabe sauber in feste Teilschritte zerlegen lässt und man Genauigkeit gegen Wartezeit tauscht. Routing lohnt sich bei klar unterscheidbaren Eingabearten, die verschiedene Behandlung brauchen. Parallelisierung hilft, wenn Teilaufgaben unabhängig sind oder mehrere Sichtweisen die Zuverlässigkeit erhöhen sollen. Orchestrator-Worker ist für Aufgaben gedacht, bei denen vorab unklar ist, welche Teilaufgaben entstehen, etwa Änderungen an mehreren Dateien. Evaluator-Optimizer setzt voraus, dass es klare Bewertungskriterien gibt und Nachbessern messbar hilft.

Typische Fehler beim Einsatz

• Ein Muster wird gewählt, weil es modern wirkt, nicht weil die Aufgabe es verlangt.
• Zwischenergebnisse werden nicht geprüft, sodass sich Fehler durch die Kette ziehen.
• Die Bewertungskriterien des Evaluators sind zu vage, und die Schleife dreht sich ohne Fortschritt.
• Es fehlt eine Obergrenze für Durchläufe und Kosten.

Zum Selbermachen

1. Zerlege eine Aufgabe (zum Beispiel eine Zusammenfassung mit Quellenprüfung) in eine Verkettung mit mindestens einem Gate.
2. Prüfe, ob ein zweiter Modellaufruf als Evaluator die Qualität messbar hebt – und was er kostet.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten.

Quellen

• Anthropic – „Building effective agents“ (Dezember 2024): Prompt Chaining, Routing, Parallelization (Sectioning, Voting), Orchestrator-Workers, Evaluator-Optimizer

Protokolle und Computer Use: MCP, A2A, Bildschirmsteuerung

Begriffe vorab

• Protokoll: eine vereinbarte Art, wie zwei Systeme Nachrichten austauschen.
• MCP (Model Context Protocol): ein offener Standard, um KI-Anwendungen mit Datenquellen und Werkzeugen zu verbinden.
• A2A (Agent2Agent): ein offenes Protokoll, mit dem Agenten untereinander Aufgaben austauschen.
• Agent Card: in A2A eine Beschreibung der Fähigkeiten eines Agenten.
• Computer Use: die Fähigkeit eines Modells, einen Computer über Bildschirm, Maus und Tastatur zu bedienen.

Das Problem: viele Einzelanbindungen

Ohne Standard muss jede KI-Anwendung jede Datenquelle einzeln anbinden. Standardisierte Protokolle ersetzen diese Einzellösungen durch eine gemeinsame Sprache.

MCP: Agent ↔ Werkzeug

Anthropic veröffentlichte das Model Context Protocol am 26. November 2024 als offenen Standard für die Anbindung von KI-Assistenten an Systeme, in denen Daten liegen, etwa Inhaltsarchive, Geschäftswerkzeuge und Entwicklungsumgebungen. Es wurde in der Folge auch von anderen großen Anbietern übernommen. Man spricht häufig vom „USB-C für Werkzeuganbindung“.

A2A: Agent ↔ Agent

Google kündigte das Agent2Agent-Protokoll am 9. April 2025 an. Es ermöglicht Agenten, einander zu entdecken, sich auszuweisen und Aufgaben zu delegieren, auch über Unternehmens- und Anbietergrenzen hinweg. Es nutzt HTTP, Server-Sent Events und JSON-RPC 2.0 und beschreibt Fähigkeiten über „Agent Cards“. Die Weiterentwicklung liegt bei der Linux Foundation. Ein Grundprinzip ist die „Undurchsichtigkeit“: Agenten arbeiten über deklarierte Fähigkeiten und ausgetauschte Daten zusammen, ohne ihre interne Logik oder ihr Gedächtnis offenzulegen.

Wie sich beide unterscheiden

Häufig wird so abgegrenzt: MCP verbindet einen Agenten mit Werkzeugen und Daten (vertikal), A2A verbindet Agenten untereinander (horizontal). In der Praxis ergänzen sich beide.

Computer Use

Am 22./23. Oktober 2024 stellte Anthropic als Beta die Fähigkeit „Computer Use“ vor: Entwickler können Claude anweisen, einen Computer wie ein Mensch zu bedienen – den Bildschirm ansehen, den Zeiger bewegen, klicken und Text eingeben. Das erlaubt Automatisierung dort, wo es keine Schnittstelle gibt, bringt aber besondere Risiken, weil der Agent auf einem echten Bildschirm mit echten Rechten handelt.

Ein Beispiel

Ein Reise-Agent nutzt über MCP den Kalender und die Reisebuchung, fragt über A2A einen Spezialagenten einer Fluggesellschaft nach Preisen und füllt für ein Altsystem ohne Schnittstelle per Computer Use ein Formular aus.

Jede angebundene Schnittstelle vergrößert die Angriffsfläche. Ein Protokoll garantiert nur den Austausch, nicht, dass der Inhalt vertrauenswürdig ist (siehe Sicherheitslektion).

Zum Selbermachen

1. Liste die Systeme auf, die ein Agent für deine Aufgabe braucht, und überlege, welche per Standardprotokoll anbindbar sind.
2. Lege für jede Anbindung die minimal nötigen Rechte fest.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten. Die Abgrenzung „vertikal/horizontal“ ist eine verbreitete Einordnung in Sekundärquellen, keine offizielle Definition der Protokolle.

Quellen

• Anthropic – „Introducing the Model Context Protocol“ (26. November 2024)
• Google Developers Blog – „Announcing the Agent2Agent Protocol (A2A)“ (9. April 2025)
• Linux Foundation – „Linux Foundation Launches the Agent2Agent Protocol Project“
• Anthropic – Vorstellung von „Computer use“ (Beta) mit Claude 3.5 Sonnet (Oktober 2024)

Sicherheit: Lethal Trifecta, Rule of Two und OWASP

Begriffe vorab

• Prompt Injection: in Daten versteckte Anweisungen, die ein Modell zu unerwünschtem Verhalten bringen.
• Exfiltration: unbefugtes Herausschleusen von Daten.
• Human in the Loop: ein Mensch bestätigt kritische Aktionen.
• Blast Radius (Schadensradius): der mögliche Schaden, wenn ein Angriff gelingt.
• Agentenidentität: die Rechte und Zugangsdaten, mit denen ein Agent handelt.

Warum Agenten das Risiko verschärfen

Ein Chat-Modell kann falsche Aussagen machen. Ein Agent kann zusätzlich handeln: Dateien ändern, E-Mails senden, Zahlungen anstoßen. Liest er dabei fremde Inhalte, kann dort versteckter Text sein Verhalten lenken. Das Problem der Prompt Injection ist bislang nicht vollständig gelöst.

Die „Lethal Trifecta“

Simon Willison prägte im Juni 2025 den Begriff „lethal trifecta“ für die Kombination aus drei Fähigkeiten eines Agenten: Zugriff auf private Daten, Kontakt mit nicht vertrauenswürdigen Inhalten und die Möglichkeit, nach außen zu kommunizieren. Liegen alle drei vor, kann ein Angreifer den Agenten dazu bringen, private Daten zu verschicken.

Die Rule of Two

Metas KI-Sicherheitsteam veröffentlichte am 31. Oktober 2025 die „Agents Rule of Two“: Eine einzelne Agenten-Sitzung soll höchstens zwei von drei Eigenschaften haben – (A) nicht vertrauenswürdige Eingaben verarbeiten, (B) auf sensible Systeme oder private Daten zugreifen, (C) Zustand ändern oder nach außen kommunizieren. Braucht ein Ablauf alle drei, soll der Agent nicht autonom arbeiten, sondern mindestens durch menschliche Freigabe oder eine andere verlässliche Prüfung überwacht werden.

Warum einfache Filter nicht reichen

In der Arbeit „The Attacker Moves Second“ (14 Autorinnen und Autoren von OpenAI, Anthropic und Google DeepMind, 10. Oktober 2025) wurden zwölf veröffentlichte Verteidigungen gegen Prompt Injection mit anpassungsfähigen Angriffen getestet; nach Berichten fielen alle. Schutz entsteht deshalb vor allem durch den Aufbau des Systems, nicht durch einen einzelnen Filter.

Die OWASP-Listen

OWASP veröffentlichte im Februar 2025 den Leitfaden „Agentic AI – Threats and Mitigations“ und am 9. Dezember 2025 die „Top 10 for Agentic Applications 2026“. Zu den zehn Risikokategorien gehören unter anderem das Kapern von Agentenzielen, Missbrauch von Werkzeugen, Missbrauch von Identitäten und Rechten, Schwachstellen in der Lieferkette, unerwartete Code-Ausführung, Vergiftung von Gedächtnis und Kontext, unsichere Kommunikation zwischen Agenten, Kaskadenfehler, Ausnutzen menschlichen Vertrauens und „Rogue Agents“.

Ein Beispiel

Ein Mail-Agent darf Postfach lesen (B), verarbeitet eingehende fremde Mails (A) und kann Antworten senden (C). Eine Mail mit versteckter Anweisung könnte ihn dazu bringen, Inhalte an Dritte zu senden. Maßnahme nach der Rule of Two: Senden nur nach Freigabe durch einen Menschen, oder den Versand auf feste Empfänger beschränken.

Praktische Schutzschichten

• Minimale Rechte je Aufgabe, getrennte Zugangsdaten für den Agenten.
• Freigabe für Aktionen mit Außenwirkung.
• Obergrenzen für Schritte, Kosten und Dauer.
• Protokollierung aller Werkzeugaufrufe.
• Isolierte Umgebung (Sandbox) für Code-Ausführung.

Kein Schutz ist absolut. Plane den Fall ein, dass ein Angriff gelingt, und begrenze dann den Schaden.

Zum Selbermachen

1. Bewerte einen geplanten Agenten nach den drei Eigenschaften A, B, C.
2. Streiche oder schütze mindestens eine Eigenschaft und lege die Freigabestelle fest.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten. Zu „The Attacker Moves Second“ liegt die Aussage zu den zwölf Verteidigungen aus Sekundärberichten vor, nicht aus eigener Durchsicht der Arbeit.

Quellen

• Simon Willison – „The lethal trifecta for AI agents“ (Juni 2025)
• Meta – „Agents Rule of Two: A Practical Approach to AI Agent Security“ (31. Oktober 2025)
• „The Attacker Moves Second“ (Autorenteam von OpenAI, Anthropic und Google DeepMind, 10. Oktober 2025); Einordnung bei Simon Willison, „New prompt injection papers: Agents Rule of Two and The Attacker Moves Second“ (2. November 2025)
• OWASP GenAI Security Project – „Agentic AI – Threats and Mitigations“ (Februar 2025)
• OWASP GenAI Security Project – „OWASP Top 10 for Agentic Applications 2026“ (9. Dezember 2025)

Workflow oder Agent? Wer steuert den Ablauf

Begriffe vorab

• Workflow: ein System, in dem Sprachmodelle und Werkzeuge über vorab festgelegte Programmpfade orchestriert werden.
• Agent (im engeren Sinn): ein System, in dem das Sprachmodell seine eigenen Prozesse und Werkzeugeinsätze dynamisch steuert.
• Kontrollfluss: die Reihenfolge der Schritte – fest im Code oder vom Modell entschieden.
• Latenz: Wartezeit bis zum Ergebnis.

Die Unterscheidung von Anthropic

In dem Beitrag „Building effective agents“ (Dezember 2024) unterscheidet Anthropic zwei Arten agentischer Systeme. Workflows sind Systeme, in denen Sprachmodelle und Werkzeuge über vordefinierte Programmpfade orchestriert werden. Agenten sind Systeme, in denen das Sprachmodell seine eigenen Abläufe und die Nutzung von Werkzeugen dynamisch steuert und selbst die Kontrolle darüber behält, wie es eine Aufgabe löst. Beides fällt unter „agentische Systeme“; der Unterschied liegt darin, wer den Ablauf bestimmt.

Warum die Unterscheidung wichtig ist

Mehr Freiheit bedeutet mehr Flexibilität, aber auch mehr Unvorhersehbarkeit, höhere Kosten und Latenz und mehr Fehlerquellen. Ein Workflow ist leichter zu testen und zu überwachen, weil jeder Schritt bekannt ist. Ein Agent eignet sich für Aufgaben, bei denen sich die nötigen Schritte nicht im Voraus festlegen lassen, etwa bei offenen Recherchen oder Programmieraufgaben in unbekanntem Code.

Ein Beispiel

Aufgabe: Eingehende Kundenmails beantworten. Als Workflow: Schritt 1 klassifiziert die Mail, Schritt 2 sucht passende Textbausteine, Schritt 3 formuliert die Antwort, Schritt 4 prüft Tonfall. Der Ablauf ist immer gleich. Als Agent: Das Modell entscheidet je Mail, ob es die Bestellung nachschlägt, eine Rückfrage stellt, an einen Menschen übergibt oder direkt antwortet.

Eine Entscheidungshilfe

1. Lässt sich der Ablauf vorab beschreiben? Dann zuerst einen Workflow bauen.
2. Reicht ein einzelner, gut formulierter Modellaufruf mit Beispielen? Dann nicht mehr bauen.
3. Nur wenn die Schritte wirklich offen sind und Fehler verkraftbar oder kontrollierbar bleiben, einen Agenten einsetzen.

Mehr Autonomie ist kein Selbstzweck. Jeder zusätzliche Entscheidungsspielraum muss durch Nutzen gedeckt sein – und durch Kontrollen.

Kosten und Risiken im Vergleich

Ein Agent trifft in jedem Durchlauf neue Entscheidungen und braucht dafür meist mehrere Modellaufrufe. Das erhöht Kosten und Wartezeit gegenüber einem Workflow mit festen Schritten. Hinzu kommt: Fehler können sich über viele Schritte aufsummieren, weil jeder spätere Schritt auf den früheren aufbaut. Deshalb sind Tests in einer geschützten Umgebung, klare Abbruchbedingungen und Kontrollpunkte für Menschen bei Agenten besonders wichtig. Bei Workflows lassen sich dagegen einzelne Schritte getrennt testen und gezielt verbessern.

Ein Übergang statt eines Gegensatzes

In der Praxis ist es kein Entweder-oder. Viele Systeme sind Workflows mit einem agentischen Teilschritt – etwa ein fester Ablauf aus Eingang, Klassifikation und Antwort, in dem nur die Recherche zum Kunden vom Modell frei gesteuert wird. So bleibt der größte Teil vorhersehbar, und die Freiheit steckt dort, wo sie wirklich nützt.

Zum Selbermachen

1. Nimm einen Prozess aus deiner Arbeit und schreibe ihn als festen Ablauf auf.
2. Markiere die Stellen, an denen der Ablauf je nach Fall anders sein müsste. Das sind die Kandidaten für Agenten-Entscheidungen.

Prüfstatus: Belegt (Stand 1. Oktober 2026): Titel, Autoren, Jahre, Konferenzen, Zahlen und Aussagen der genannten Quellen wurden gegen Primär- bzw. Verzeichnisquellen geprüft. Nicht einzeln belegt: erklärende Darstellung, die Beispiele (konstruiert) und die Einordnung in eigenen Worten.

Quellen

• Anthropic – „Building effective agents“ (Dezember 2024): Definition von Workflows und Agenten sowie die Empfehlung, mit einfachen Lösungen zu beginnen
• OpenAI – „A Practical Guide to Building Agents“ (April 2025)