Künstliche IntelligenzZuletzt aktualisiert: 30. Oktober 2026

Was ist AG-UI Agent?

Agent-GUI Agent

Ein KI-Agent, der die grafische Benutzeroberfläche anhand von Screenshots und UI-Elementen analysiert und wie ein Mensch Klick- und Tippaktionen ausführt.

Definition

Ein AG-UI-Agent ist ein softwarebasierter KI-Assistent, der Schaltflächen, Textfelder und Menüs auf einem Computer- oder Mobilgerätebildschirm visuell erkennt. Er erfüllt Aufgaben direkt über die Benutzeroberfläche, ohne dass klassische Backend-Integrationen oder API-Verbindungen erforderlich sind. Er interagiert mit Software, indem er Mausbewegungen, Klicks und Tastatureingaben genau wie ein Mensch simuliert.

Analogie: Er ist wie ein unsichtbarer Praktikant, der sich an den Computer setzt, die Symbole auf dem Bildschirm betrachtet und in Ihrem Namen die Maus bewegt und Tasten drückt.

So funktioniert es

Fortschrittliche multimodale KI-Modelle erfassen kontinuierlich den Bildschirm und kombinieren eine visuelle Analyse auf Pixelebene mit der Texthierarchie. Nachdem das Modell die Koordinaten des Zielesels auf dem Bildschirm ermittelt hat, löst es Steuerungsbefehle auf Betriebssystemebene aus, um den Klick- oder Texteingabevorgang auszuführen. Nach jeder Aktion überprüft es den neuen Zustand des Bildschirms, um zu verifizieren, ob die Aufgabe erfolgreich abgeschlossen wurde.

Wo es eingesetzt wird

Er wird bei der Automatisierung älterer Unternehmenssoftware ohne API-Unterstützung, bei komplexen Formularausfüllprozessen auf Websites und bei der automatisierten Durchführung von Softwaretests eingesetzt.

Häufig verwechselt mit

Während Standard-KI-Agenten nur auf Text- oder Datenbankebene agieren können, arbeitet ein AG-UI-Agent, indem er direkt auf visuelle Bildschirmpixel und grafische Oberflächenelemente abzielt.

Fragen und Antworten

Müssen Softwares APIs anbieten, damit man einen AG-UI-Agenten nutzen kann?

Nein. Da diese Agenten visuelle Pixel und Schaltflächen auf dem Bildschirm analysieren, können sie direkt über die Benutzeroberfläche arbeiten, selbst wenn im System keine API vorhanden ist.

Funktioniert er auch in Desktop-Programmen außerhalb von Webbrowsern?

Ja. Da es die grafische Ausgabe des Betriebssystems direkt lesen kann, lässt es sich sowohl in Desktop- als auch in Mobil- und Webanwendungen einsetzen.