Künstliche IntelligenzZuletzt aktualisiert: 26. Oktober 2026

Was ist Multimodal Agents?

Es handelt sich um KI-Agenten, die Entscheidungen treffen und handeln, indem sie verschiedene Datentypen wie Text, Bilder, Audio und Video gleichzeitig verarbeiten.

Definition

Multimodale Agenten sind fortschrittliche KI-Systeme, die die Welt nicht nur über Texteingaben, sondern auch über Daten aus verschiedenen sensorischen Kanälen verstehen. Sie können einen Screenshot analysieren, Sprachbefehle hören und diese Daten kombinieren, um Aktionen auf dem Computer auszuführen. Sie bieten eine Interaktion, die der Art und Weise ähnelt, wie Menschen ihre Umgebung wahrnehmen.

Analogie: Anstelle eines Assistenten, der nur Briefe liest: Ähnelt einem vielseitigen Arbeitskollegen, der Ihnen zuhört, Ihren Bildschirm sieht, das Dokument prüft und Ihnen antwortet.

So funktioniert es

Vision-Language-Modelle (VLM) und Audioverarbeitungsmodule werden kombiniert und in den Agenten integriert. Der Agent führt die verschiedenen eingegebenen Datentypen in einem einzigen Bedeutungsraum zusammen, nutzt Werkzeuge und erzeugt infolgedessen Text-, Audio- oder Bildausgaben.

Wo es eingesetzt wird

Sie werden häufig bei Desktop-Automatisierungen, bildschirmlesebasierter Software, intelligenten Robotersystemen und Kundendienst-Bots bevorzugt.

Häufig verwechselt mit

Ihr Unterschied zu Modellen, die lediglich multimodale Ausgaben erzeugen, liegt in ihrer Fähigkeit, Eingabedaten zu analysieren und mithilfe von Werkzeugen eigenständige Aktionen auszuführen.

Fragen und Antworten

Können multimodale Agenten Desktop-Anwendungen steuern?

Ja, sie können Screenshots analysieren, die Position von Schaltflächen ermitteln und Anwendungen über Mausklicks oder Tastatureingaben bedienen.

Was ist der Unterschied zwischen multimodalem Agenten und multimodalen Modellen?

Während Modelle lediglich Daten verarbeiten und Antworten generieren, treffen Agenten auf Basis dieser Antworten Entscheidungen und handeln in der Außenwelt.