Was ist multimodale KI?

Was multimodale KI bedeutet

Multimodale KI ist künstliche Intelligenz, die mehrere Arten von Daten gleichzeitig verarbeitet und miteinander verknüpft. Das Wort klingt sperrig, der Gedanke dahinter ist einfach: Ein «Modus» ist eine Art von Information. Geschriebener Text ist ein Modus, ein Bild ein anderer, ein Tonsignal ein dritter, ein Video ein vierter.

Frühere KI-Systeme konnten meist nur einen einzigen Modus — typischerweise reinen Text. Du tipptest eine Frage, sie gab Text zurück. Ein Foto, eine Sprachnachricht oder ein gescanntes Dokument waren für sie eine Wand: Sie sahen und hörten nichts.

Multimodale KI durchbricht diese Wand. Sie kann ein Bild anschauen und dazu eine Frage in Textform beantworten. Sie kann eine Sprachnachricht abhören und den Inhalt sauber zusammenfassen. Entscheidend ist nicht, dass sie all das einzeln beherrscht, sondern dass sie die Datentypen im Zusammenhang versteht — sie verknüpft, was sie sieht, mit dem, was sie liest.

Das ist keine Theorie mehr, sondern in den grossen Modellen verbaut. OpenAI beschreibt sein Modell GPT-4o so, dass es «jede Kombination aus Text, Audio, Bild und Video» als Eingabe annimmt — und zwar so, dass alle diese Eingaben «vom selben neuronalen Netz verarbeitet» werden (OpenAI, GPT-4o System Card). Genau dieses «vom selben Netz» ist der Unterschied, der den Begriff erst wertvoll macht.

Die einfache Faustregel: Frühere KI konnte nur lesen. Multimodale KI kann lesen, sehen und hören — und versteht alles im selben Gedanken.

Die vier Datentypen — und was sie für dich heissen

Multimodale KI bringt vier Arten von Informationen unter einen Hut. Was technisch nach Kategorien klingt, ist im Büroalltag sehr konkret:

Der eigentliche Wert liegt nicht in einer einzelnen Spalte, sondern in der Verbindung. Eine multimodale KI kann ein Foto einer Quittung ansehen, die darauf gedruckten Zahlen lesen und das Ergebnis als sauberen, weiterverarbeitbaren Datensatz ausgeben. Das ist der Punkt, an dem aus «KI versteht Sprache» ein Werkzeug wird, das im Alltag wirklich Arbeit abnimmt.

Warum «verknüpft» mehr ist als die Summe der Teile

Lesen, sehen und hören gab es einzeln schon lange — als getrennte Programme: eines fürs Texterkennen (OCR), eines fürs Bilderkennen, eines fürs Diktieren. Der Haken: Diese Bausteine wussten nichts voneinander. Man musste sie von Hand aneinanderketten, und jede Übergabe war eine neue Fehlerquelle.

Echte multimodale Modelle sind anders gebaut. Google beschreibt sein Modell Gemini als «von Grund auf multimodal, von Anfang an auf verschiedenen Modalitäten trainiert» — und stellt das ausdrücklich dem alten Weg gegenüber: Bisher habe man «getrennte Komponenten für verschiedene Modalitäten trainiert und sie dann zusammengeflickt» (Google, Introducing Gemini). Weil das Modell alles gemeinsam gelernt hat, versteht es den Zusammenhang.

Praktisch heisst das: Eine multimodale KI sieht auf der fotografierten Quittung nicht nur Pixel und liest nicht nur Ziffern — sie begreift, dass die Zahl unten rechts der Totalbetrag ist, dass darüber das Datum steht und dass «MwSt 8.1 %» zum schweizerischen Mehrwertsteuersatz gehört. Diese Verbindung von Sehen und Verstehen ist genau das, was eine Automatisierung zuverlässig macht — und nicht nur als Demo beeindruckend.

Warum das für Schweizer KMU zählt

Die meiste Arbeit in einem KMU besteht nicht aus sauber getipptem Text. Informationen kommen so herein, wie der Alltag sie liefert: als Foto einer Quittung vom Mittagessen, als gescannte Lieferantenrechnung im PDF, als Sprachnachricht eines Kunden auf dem Anrufbeantworter, als abfotografierter Stundenrapport von der Baustelle.

Eine KI, die nur Text liest, ist bei all dem blind. Sie kann die schönste Antwort formulieren — aber sie sieht die Quittung nicht und hört die Sprachnachricht nicht. Genau hier war jahrelang die Lücke zwischen «KI klingt beeindruckend» und «KI hilft mir tatsächlich».

Multimodale KI schliesst diese Lücke. Weil sie sehen und hören kann, fällt die mühsamste Handarbeit weg:

• Belege müssen nicht mehr abgetippt werden — die KI liest sie vom Foto.
• Sprachnachrichten müssen nicht mehr abgehört und notiert werden — die KI macht daraus Text.
• Gescannte Dokumente müssen nicht mehr von Hand erfasst werden — die KI erkennt die Felder.

Das ist die Brücke von der Theorie zur Praxis: Erst die Fähigkeit, Belege, Fotos und Sprache zu verstehen, macht die Automatisierungen möglich, die ein KMU tatsächlich entlasten.

Multimodale KI in der Praxis: drei konkrete Beispiele

Am deutlichsten wird der Nutzen dort, wo das Lesen von Belegen, Bildern und Sprache der eigentliche Arbeitsschritt ist. Drei Abläufe, die ohne Multimodalität gar nicht gingen:

1. Beleg-Foto lesen (Rechnung). Eine Lieferantenrechnung kommt als PDF oder als Foto. Die multimodale KI erkennt darauf Betrag, Datum, Lieferant und Mehrwertsteuer, macht daraus strukturierte Daten und übergibt sie zur Verbuchung. Aus «jemand tippt die Rechnung ab» wird «die KI liest sie und legt sie zur Freigabe vor». → Rechnungsverarbeitung automatisieren
2. Quittung fotografieren (Spesen). Ein Mitarbeiter fotografiert die Quittung vom Geschäftsessen mit dem Handy. Die KI liest Betrag, Datum und Händler vom Bild, ordnet die Spesenkategorie zu und erfasst den Beleg. Kein Sammeln von Papierquittungen, kein Abtippen am Monatsende. → Spesen- und Belegerfassung
3. Sprachnachricht verstehen. Ein Kunde hinterlässt eine Sprachnachricht auf dem Anrufbeantworter — «Bräuchte am Donnerstag noch zwei Paletten, ruft mich kurz zurück». Die KI hört zu, macht daraus sauberen Text, erkennt den Wunsch und das gewünschte Datum und legt eine Aufgabe an, statt dass jemand die Nachricht abhört und von Hand notiert.

In allen drei Fällen ist die multimodale Fähigkeit der Schlüssel: Ohne die Fähigkeit, ein Bild zu lesen oder Gesprochenes zu verstehen, gäbe es nichts zu automatisieren. Mit ihr wird der Beleg, das Foto, die Sprachnachricht zur Datenquelle.

Vom Verstehen zum Handeln: die Brücke zu Computer Use

Multimodale KI versteht — sie sieht und hört. Damit daraus ein fertiger Arbeitsschritt wird, muss jemand das Verstandene auch eintragen. Genau hier kommt eine zweite Fähigkeit ins Spiel: Ein Agent, der einen Screenshot interpretieren und danach selbst Maus und Tastatur bedienen kann, sieht das Buchhaltungsfenster auf dem Bildschirm, erkennt das richtige Feld und trägt die aus dem Beleg gelesenen Werte direkt ein — ganz ohne Schnittstelle zur Software. Diese Fähigkeit heisst Computer Use. Multimodalität ist dabei das Auge und Ohr, Computer Use die Hand: Erst zusammen entsteht aus «KI versteht den Beleg» ein «der Beleg ist erfasst».

Wo der Mensch bleibt — und wie FrontierX das baut

So nützlich es ist, dass eine KI Belege und Sprache versteht: Die KI erfasst und schlägt vor, die letzte Kontrolle bleibt bei dir. Ein unleserliches Foto, eine ungewöhnliche Rechnung, ein Sonderfall — solche Dinge gehören vor einer Buchung gesehen, nicht blind übernommen.

FrontierX baut multimodale Automatisierungen deshalb nach denselben Prinzipien wie jeden anderen Prozess: Mensch in der Schleife bei allem, was Wirkung hat, klein starten und messen statt Grossprojekt, und auf Wunsch Schweizer Hosting mit Daten, die nicht fürs Modelltraining genutzt werden. Die KI nimmt dir das Abtippen ab — nicht die Verantwortung.

Wie aus der Fähigkeit, Belege und Sprache zu lesen, ein laufender, zuverlässiger Ablauf wird, steht unter Was ist KI-Automatisierung?. Und wenn du wissen willst, welcher deiner Abläufe sich als Erstes lohnt, klären wir das am besten in einer kurzen Auslegeordnung — ehrlich, ohne Verkaufsdruck.