Was ist Computer Use?
Die meisten Automatisierungen scheitern an einer Frage: «Hat die Software eine Schnittstelle?» Computer Use macht diese Frage überflüssig — der KI-Agent bedient das Programm wie ein Mensch.
Computer Use bezeichnet KI-Agenten, die den Bildschirm sehen und Maus und Tastatur selbst steuern, um beliebige Software zu bedienen — ganz ohne Programmierschnittstelle (API). Anthropic führte die Fähigkeit im Oktober 2024 ein. Für Schweizer KMU ist das der entscheidende Hebel: Auch Branchensoftware ohne offene Schnittstelle — Abacus, Swissdec-Lohnsysteme, die 26 kantonalen Steuer- und Behördenportale — lässt sich so automatisieren, ohne sie zu ersetzen.
Was Computer Use genau bedeutet
Klassische Software-Automatisierung braucht eine Schnittstelle — eine API, über die zwei Programme strukturiert Daten austauschen. Hat ein System keine API, war es bisher praktisch nicht automatisierbar. Genau hier setzt Computer Use an.
Ein Computer-Use-Agent bekommt kein Sonderzugang zum Innenleben der Software. Er bekommt das, was ein Mensch auch bekommt: das Bild des Bildschirms. Er erkennt darauf Felder, Knöpfe, Listen und Texte, entscheidet, was zu tun ist, und steuert dann Maus und Tastatur — klicken, tippen, scrollen, zwischen Fenstern wechseln. Er bedient das Programm also über genau die Oberfläche, für die es gebaut wurde.
Anthropic stellte diese Fähigkeit im Oktober 2024 erstmals öffentlich vor. Seitdem ist sie von einer Demo zu einem praxistauglichen Werkzeug gereift — und sie ist der technische Kern dessen, was FrontierX für Schweizer KMU baut.
Die Faustregel: Wenn ein Mensch es am Bildschirm erledigen kann, kann ein Computer-Use-Agent es grundsätzlich auch — unabhängig davon, ob das Programm eine Schnittstelle hat.
Wie ein Computer-Use-Agent arbeitet
Der Ablauf ist eine ständige Schleife aus Sehen, Denken und Handeln:
- Sehen — Der Agent macht eine Aufnahme des Bildschirms und erkennt darauf die relevanten Elemente: das Eingabefeld, die richtige Schaltfläche, die Zeile in der Tabelle.
- Planen — Auf Basis seines Ziels («diesen Beleg im Buchhaltungssystem erfassen») entscheidet er den nächsten Schritt.
- Handeln — Er führt die konkrete Aktion aus: Maus an die Koordinate, Klick, Text tippen, Enter.
- Prüfen — Er sieht das neue Bild, kontrolliert, ob der Schritt funktioniert hat, und korrigiert sich bei Bedarf selbst.
Dieser Zyklus läuft so lange, bis die Aufgabe erledigt ist. Anders als ein starres Makro, das bei der kleinsten Layout-Änderung bricht, versteht der Agent das Ziel — verschiebt sich ein Knopf oder erscheint ein unerwartetes Fenster, findet er den neuen Weg.
Warum Computer Use gerade für Schweizer KMU der Hebel ist
Die Schweizer KMU-Landschaft läuft auf einer Vielzahl von Programmen, die keine offene Schnittstelle haben oder bei denen eine Anbindung teuer und langsam wäre:
- Abacus und andere etablierte Business-Software, oft mit jahrelang gewachsenen, individuellen Konfigurationen.
- Swissdec-zertifizierte Lohnsysteme für die Lohn- und Sozialversicherungsabrechnung.
- Die 26 kantonalen Steuer-, Handelsregister- und Behördenportale — jedes anders, kaum eines mit API für Dritte.
- Branchenspezifische Insellösungen in Treuhand, Bau, Logistik, Garagen oder Praxen.
Wer hier mit klassischer Integration automatisieren will, scheitert oft schon an der Schnittstellenfrage. Computer Use dreht das um: Der Agent bedient diese Systeme so, wie es heute eine Sachbearbeiterin tut — er muss nichts ersetzen und nichts umbauen. Das ist der Unterschied zwischen «geht nicht, kein API» und «läuft ab nächster Woche».
Computer Use, API oder RPA?
Drei Wege führen zur Automatisierung — sie schliessen sich nicht aus, sondern ergänzen sich:
| API-Anbindung | Klassische RPA | Computer Use | |
|---|---|---|---|
| Wie es zugreift | Strukturierte Schnittstelle | Fest verdrahtete Klick-Skripte | Sieht den Bildschirm, steuert Maus/Tastatur |
| Braucht eine API? | Ja, zwingend | Nein | Nein |
| Reaktion auf Änderungen | Stabil, solange API stabil | Bricht bei jeder Layout-Änderung | Passt sich an, versteht das Ziel |
| Umgang mit Sonderfällen | Nur wenn einprogrammiert | Schlecht | Gut — urteilt im Rahmen der Aufgabe |
| Stärke bei hohem Volumen | Sehr hoch | Mittel | Mittel bis hoch |
| Ideal für | Moderne Systeme mit Schnittstelle | Stabile Massenprozesse | Software ohne API, gemischte Abläufe |
Die ehrliche Einordnung: Wo eine gute API existiert und es um sehr hohe Stückzahlen geht, ist die direkte Anbindung meist überlegen. Computer Use ist der Schlüssel für den grossen Rest — und für Abläufe, die über mehrere unverbundene Programme hinweg laufen. Mehr zum Verhältnis von Agenten und RPA steht im Vergleich KI-Agent vs. Chatbot vs. RPA.
Was heute realistisch funktioniert — und was nicht
Computer Use ist 2026 keine Zukunftsmusik mehr, aber auch kein Zauberstab. Die Fähigkeit hat in kurzer Zeit enorme Sprünge gemacht: Auf OSWorld, dem etablierten Benchmark für Computer-Use-Agenten in echten Betriebssystem-Umgebungen, stieg die Erfolgsquote der besten Modelle laut Stanford HAI AI Index 2026 innerhalb eines Jahres von rund 12% auf 66,3%. Die menschliche Baseline auf demselben Benchmark liegt bei 72,36% — der Abstand ist klein geworden.
Trotzdem gilt eine ehrliche Grenze: Zuverlässigkeit hängt an der Komplexität und Länge der Aufgabe. Kurze, klar umrissene Abläufe erledigen heutige Agenten sehr verlässlich. Bei langen, mehrstündigen Aufgabenketten sinkt die Trefferquote — Messungen des unabhängigen Instituts METR zeigen, dass selbst das beste Modell Aufgaben nur bis zu einer Länge von rund drei bis vier Stunden mit hoher (80-prozentiger) Verlässlichkeit am Stück bewältigt.
Die praktische Konsequenz ist nicht «warten», sondern richtig zuschneiden: einen klar abgegrenzten Vorgang automatisieren, Kontrollpunkte einbauen, den Menschen für Freigaben und Ausnahmen in der Schleife lassen. Genau so baut FrontierX. Den laufend aktualisierten Stand der Technik — mit Reife, Adoption und der Verfügbarkeit von Computer Use in echten Produkten — hält FrontierX offen und mit Quellen fest.
Typische Anwendungsfälle im Schweizer Büroalltag
- Belege erfassen und verbuchen: Rechnung aus dem Posteingang lesen, im Buchhaltungssystem erfassen, kontieren, zur Freigabe vorlegen. → Rechnungsverarbeitung automatisieren
- Daten zwischen Systemen übertragen: Aus einem PDF, einer E-Mail oder einem Portal die Felder in die Branchensoftware übertragen — ohne Copy-Paste-Marathon.
- Behördenportale bedienen: Meldungen, Anträge und Formulare in kantonalen Portalen ausfüllen und einreichen.
- Stammdaten pflegen: Neue Kunden, Artikel oder Verträge in mehreren Systemen gleichzeitig anlegen und konsistent halten.
Sicherheit, Kontrolle und revDSG
Ein Agent, der Software bedienen kann, braucht klare Leitplanken. FrontierX setzt deshalb auf drei Prinzipien:
- Abgeschottete Umgebung & minimale Rechte. Der Agent läuft nicht auf den Arbeitsplätzen der Mitarbeitenden, sondern in einer kontrollierten Umgebung mit eigenen, eng begrenzten Zugängen.
- Mensch in der Schleife. Bei Entscheidungen mit Wirkung auf Personen entscheidet der Mensch. Das revidierte Datenschutzgesetz (revDSG, in Kraft seit 1. September 2023) verlangt in Art. 21 bei ausschliesslich automatisierten Einzelentscheidungen mit erheblicher Wirkung eine Information der betroffenen Person und das Recht auf menschliche Überprüfung. Was das im Detail bedeutet, steht unter Ist KI in der Schweiz DSG-konform?
- Nachvollziehbarkeit. Jeder Schritt ist protokolliert — so bleibt prüfbar, was der Agent getan hat.
Fazit: Wann Computer Use, wann eine Schnittstelle
Computer Use ist kein Ersatz für gute Schnittstellen, sondern ihre Ergänzung — und für die Schweizer KMU-Realität oft der einzig gangbare Weg. Die Entscheidung ist einfach:
- Gibt es eine stabile, dokumentierte API und geht es um hohe Volumen? Dann anbinden.
- Gibt es keine API, ist sie zu teuer, oder läuft der Ablauf über mehrere unverbundene Programme? Dann Computer Use.
In den meisten echten KMU-Projekten ist die Antwort: beides, klug kombiniert. FrontierX entscheidet das nicht nach Ideologie, sondern nach dem, was den Vorgang am zuverlässigsten erledigt.
Fragen, die zu diesem Thema gestellt werden.
Funktioniert Computer Use mit jeder Software?
Im Prinzip ja — alles, was sich auf einem Bildschirm bedienen lässt, kann ein Computer-Use-Agent grundsätzlich bedienen: Web-Anwendungen, Desktop-Programme, alte Branchensoftware ohne Schnittstelle. In der Praxis hängt die Zuverlässigkeit von der Aufgabe ab: klar strukturierte, wiederkehrende Abläufe laufen sehr stabil, sehr verschachtelte oder seltene Spezialfälle brauchen eine menschliche Kontrolle.
Computer Use oder eine API-Anbindung — was ist besser?
Wenn eine stabile, gut dokumentierte Schnittstelle (API) existiert, ist sie für hohe Volumen meist die robustere und schnellere Wahl. Computer Use spielt seine Stärke dort aus, wo es keine Schnittstelle gibt — bei vielen Schweizer Branchen- und Behördensystemen genau der Normalfall. In der Praxis kombiniert FrontierX beides: API, wo vorhanden, Computer Use für den Rest.
Ist Computer Use sicher für sensible Kundendaten?
Ja, wenn es richtig aufgesetzt ist. Der Agent läuft in einer kontrollierten Umgebung mit definierten Rechten, sieht nur, was er für die Aufgabe braucht, und bei Entscheidungen über Personen bleibt der Mensch in der Schleife — in der Schweiz nach revDSG Art. 21 ohnehin Pflicht. Auf Wunsch mit Schweizer Hosting und ohne Nutzung der Daten fürs Modelltraining.
Braucht ein Computer-Use-Agent Zugriff auf meinen Arbeitsplatz-Computer?
Nein. Der Agent arbeitet typischerweise in einer eigenen, abgeschotteten virtuellen Umgebung — nicht auf dem Rechner deiner Mitarbeitenden. Dort meldet er sich mit eigenen, klar begrenzten Zugängen an den nötigen Programmen an. So bleiben Arbeitsplätze und Berechtigungen sauber getrennt.
Verwandte Themen.
Bereit, das in deinem Betrieb einzusetzen?
FrontierX startet mit einer Auslegeordnung deiner Abläufe und automatisiert den Vorgang mit dem grössten Hebel zuerst — DSG-konform, in Tagen statt Quartalen.
Gespräch anfragen