Was ist multimodale KI? Text, Bild, Audio und Video gemeinsam verstehen

Was bedeutet „multimodal“?

Eine Modalität ist eine Form beziehungsweise ein Kanal, in dem Informationen dargestellt oder wahrgenommen werden. Typische KI-Modalitäten sind Text, Bild, Audio, Sprache und Video; in der Forschung kommen auch Tiefen-, Wärme-, Sensor-, Bewegungs- oder 3D-Daten vor. Multimodale KI verbindet mehr als eine dieser Modalitäten für eine Aufgabe.

Input- und Output-Modalitäten trennen

Die wichtigste Unterscheidung: Was geht hinein, was kommt heraus? Ein Modell kann Text, Bilder, Audio und Video als Eingabe verstehen und trotzdem nur Text ausgeben. Falsch sind daher Aussagen wie „ein Modell ist erst multimodal, wenn es Bilder erzeugen kann“.

Multimodal, cross-modal, generativ und LLM

Multimodale Verarbeitung nutzt mehrere Modalitäten gemeinsam für eine Aufgabe (Bild + Textfrage → Textantwort). Cross-modale Verarbeitung überträgt Information von einer Modalität in eine andere (Text → Bild, Audio → Text). Die Begriffe sind in Forschung und Industrie nicht überall einheitlich – entscheidend bleibt: welche Modalität kommt hinein, welche kommt heraus?

Multimodal ist nicht dasselbe wie generativ: „multimodal“ sagt, welche Informationsformen verbunden werden, „generativ“, dass neue Ausgaben erzeugt werden. Ein Modell kann Bild und Text für eine Klassifikation verbinden (multimodal, aber nicht zwingend frei generierend); ein reines Textmodell kann generativ sein, ohne multimodal zu sein.

Multimodale KI ist breiter als ein multimodales LLM: Dazu gehören auch Vision-Language-Modelle, multimodale Embedding-Modelle, Audio- und Video-Systeme sowie Robotikmodelle. Gängige Begriffe:

Wie „versteht“ ein Modell ein Bild?

Ein Bild wird nicht wie mit einem menschlichen Auge „gesehen“. „Verstehen“ heißt hier: aus numerischen Repräsentationen der Bild-, Audio- oder Videodaten für eine Aufgabe passende Ausgaben ableiten – ohne Wahrnehmung, Bewusstsein oder Sinne im menschlichen Sinn. Ein häufiges (aber nicht das einzige) Muster:

Wie die Modalitäten zusammengeführt werden, unterscheidet sich je Modell: über einen gemeinsamen Repräsentationsraum (Bild und Text landen als ähnliche Vektoren nah beieinander – Grundlage von Text-zu-Bild-Suche und Cross-Modal Retrieval, siehe Embeddings), über Adapter/Projektionen, über Cross-Attention oder über stärker vereinheitlichte Repräsentationen. Es gibt nicht die eine Architektur für multimodale KI.

Auch die Repräsentation je Modalität ist unterschiedlich: Text wird in Tokens zerlegt; Bilder je nach Architektur über Bild-Patches, Encoder-Repräsentationen oder diskrete visuelle Tokens; Audio über Frames, Spektralbilder oder Audio-Encoder; Video über Frames, zeitliche Merkmale und Tonspur. Nicht jedes Modell macht das gleich – „alles wird tokenisiert“ ist zu pauschal.

Modell, System oder Produkt?

Viele Nutzer sehen nur die Oberfläche. Ein Produkt kann Audio aufnehmen, es per Speech-to-Text transkribieren, den Text durch ein Sprachmodell verarbeiten und die Antwort per Text-to-Speech vorlesen. Für die Nutzerin wirkt das wie eine multimodale KI – technisch können mehrere Modelle beteiligt sein. Daneben gibt es Modelle, die mehrere Modalitäten enger in derselben Architektur verarbeiten. Drei Ebenen helfen:

• Produkt: die Anwendung, die man bedient.
• KI-System: Orchestrierung aus Modellen, Tools, Datenquellen und Software.
• Modell: das eigentliche trainierte Machine-Learning-Modell.

Typische Anwendungen

• Bilder verstehen: Bildbeschreibung, visuelle Fragen, Screenshots analysieren.
• Dokumente: PDFs, Tabellen, Diagramme, Scans, Formulare, Rechnungen – oft mehrere Informationsformen zugleich.
• Audio und Sprache: Transkription, Gesprächsauswertung, gesprochene Interaktion.
• Video: Szenen und zeitliche Abläufe beschreiben, Fragen zu Videoinhalten.
• Generierung: Text → Bild, Text/Bild → Bild, Text/Bild → Video, Text → Audio (Bild-, Video-, Audio-Tools).
• Coding und Oberflächen: Screenshot → HTML/CSS-Vorschlag, Diagramm → Code, UI-Analyse.
• Barrierefreiheit: Bildbeschreibung, Vorlesen, Transkription – mit der Einschränkung aus dem Grenzen-Abschnitt.
• Robotik: visuelle, sprachliche und sensorische Informationen mit Aktionen verbinden (nur Einordnung).

Besonders praxisrelevant sind Dokumente: Fließtext, Tabellen, Diagramme, Layout und visuelle Hierarchie gehören zusammen. Eine reine Textextraktion verliert oft Zusammenhänge; multimodale Analyse kann visuelle Struktur berücksichtigen – aber nicht jede PDF-Seite wird vollständig und fehlerfrei interpretiert (kleine Schrift, schlechte Scans, komplexe Tabellen, mehrspaltiges Layout, Formeln). Video ist mehr als „viele Bilder“ (zeitliche Abläufe, Bewegung, Reihenfolge, Ton), und Audio ist mehr als Sprache (Musik, Geräusche, akustische Ereignisse). Ein Speech-to-Text-System hat daher nicht automatisch die Fähigkeiten eines allgemeinen Audio-Modells.

Konkrete Beispiele

Die folgenden Fälle sind konstruierte Beispiele – keine dokumentierten Produkttests.

Multimodal oder generativ? Eine Einordnung

Was ist keine multimodale KI? Ein reines Text-zu-Text-Modell, eine reine Bildklassifikation, eine reine Sprachklassifikation, klassische OCR oder ein reines Text-to-Speech – jeweils für sich unimodal. Solche Systeme können aber Bausteine einer multimodalen Pipeline sein.

Grenzen und multimodale Halluzinationen

Mehr Modalitäten bedeuten mehr Kontext – aber auch mehr Fehlerquellen. Neben allgemeinen Halluzinationen gibt es typische multimodale Fehler:

Visuelles Grounding: Eine Antwort sollte nicht nur plausibel klingen, sondern tatsächlich durch das konkrete Bild, Dokument, Audio oder Video gestützt sein. Zeigt ein Foto Tisch, Laptop und Tasse und behauptet die Antwort zusätzlich „auf dem Bildschirm ist Excel geöffnet“, obwohl das nicht erkennbar ist, ist das eine unbelegte Ergänzung. Die Forschung misst Objekthalluzinationen mit Verfahren wie POPE und CHAIR; pauschale aktuelle Fehlerquoten gibt es hier bewusst nicht.

Wenn Modalitäten sich widersprechen

Was, wenn Quellen widersprüchliche Informationen liefern – ein Bild zeigt einen Hund, der begleitende Text behauptet eine Katze, oder Tonspur und Untertitel weichen ab? Multimodale Systeme müssen unterschiedliche Informationen gewichten, und das kann zu Fehlern führen. Ein Modell löst solche Konflikte nicht immer korrekt – bei wichtigen Aussagen die Modalität mit der belastbarsten Evidenz selbst prüfen.

Datenschutz bei multimodalen Daten

Multimodale Eingaben können besonders sensibel sein: Bilder (Gesichter, Kennzeichen, Wohnräume, Dokumente), Audio (Stimme, Gesprächsinhalte), Video (Personen, Orte, Abläufe) und vor allem Screenshots (E-Mail-Adressen, Kundendaten, Passwörter, API-Schlüssel). Vor dem Upload prüfen: Anbieter, Tarif, Datenverarbeitung, Speicherregeln, Trainingseinstellungen und mögliche Unternehmensvereinbarungen – ohne pauschale Anbieterversprechen. Gesichter oder Stimmen können rechtlich besonders relevant sein; ob eine biometrische Verarbeitung vorliegt, hängt vom konkreten Zweck ab. Details im Bereich Datenschutz.

Prompt Injection und Deepfakes

Prompt Injection steckt nicht nur im Chattext: Verarbeitet ein System Dokumente, Webseiten, Bilder oder Screenshots, können dort versteckte Anweisungen das System beeinflussen, wenn die Anwendung solche Inhalte unsicher als Instruktionen behandelt. Deshalb externe Inhalte als potenziell manipuliert behandeln.

Multimodale und generative KI überschneiden sich stark bei synthetischen Medien – Bildern, Stimmen, Video und Deepfakes. Seit dem 2. August 2026 gelten die Transparenzpflichten nach Artikel 50 des EU AI Act: Anbieter müssen KI-generierte oder -manipulierte Inhalte maschinenlesbar markieren, Betreiber müssen Deepfakes offenlegen – mit Ausnahmen (etwa geringfügige Bearbeitung, künstlerische Werke, redaktionell verantwortete Inhalte). Die pauschale Aussage „jeder KI-Inhalt muss gekennzeichnet werden“ ist unzutreffend. Mehr unter EU AI Act und KI-Kennzeichnung.

Lokale multimodale KI

Manche multimodalen Modelle lassen sich lokal betreiben – der Bedarf hängt aber stark ab von Modellgröße, Quantisierung, Vision-Encoder, Kontext, Bildauflösung sowie RAM und VRAM. „Multimodale Modelle brauchen immer eine High-End-GPU“ stimmt so nicht; ebenso wenig laufen alle problemlos auf Alltagshardware. Konkrete Anforderungen je Modell prüfen – Überblick unter lokale Modelle.

Brauche ich überhaupt multimodale KI?

• Besteht meine Aufgabe eigentlich nur aus Text?
• Muss das System Bilder, Audio oder Video wirklich verstehen?
• Müssen mehrere Informationsarten gemeinsam ausgewertet werden?
• Soll nur analysiert oder auch etwas erzeugt werden?
• Wie sensibel sind die Eingabedaten?
• Wie exakt müssen die Ergebnisse sein und lassen sie sich prüfen?
• Reicht lokale Verarbeitung oder braucht es Cloud-KI?

Weiterführend: Generative KI, Large Language Models, Embeddings, Halluzinationen, KI-Modelle und der Modell-Finder.

• Generative KI
• Large Language Models
• Embeddings
• Halluzinationen
• KI-Modelle
• Modell-Finder