Genau an diesem Punkt würde ich bremsen. Der Pilot war nicht schlecht, aber er hat eine andere Frage beantwortet. Er zeigt, ob eine Lösung grundsätzlich funktioniert. Im Betrieb muss sie zuverlässig funktionieren: mit mehr Nutzern, unvollständigen Daten, Ferienabwesenheiten und einem Anbieter, der sein Modell ohne Vorankündigung aktualisiert.
Im Pilot lässt sich vieles auffangen. Die Datenmenge ist überschaubar, die Beteiligten kennen das Projekt, Sonderfälle löst jemand von Hand. Im Betrieb fällt dieses Sicherheitsnetz weg. Deshalb kläre ich vor jedem Rollout fünf Fragen.
1. Rechnet sich der ganze Ablauf – nicht nur der KI-Schritt?
Dass die KI eine Zusammenfassung in zehn Sekunden erstellt, sagt wenig. Wenn die Fachperson danach fünf Minuten prüft, korrigiert und Informationen nachträgt, sieht die Rechnung anders aus als in der Demo.
Dazu kommt Aufwand, der im Pilot oft unsichtbar bleibt. Jemand hat Dokumente von Hand hochgeladen, Daten aus dem ERP kopiert und Ergebnisse ins Fachsystem zurückübertragen. Im Dauerbetrieb wird daraus der nächste Engpass oder eine Schnittstelle, die Geld kostet.
Die Wirtschaftlichkeit gehört deshalb mit echten Pilotdaten neu gerechnet: Zeit pro Vorgang heute gegenüber Zeit pro Vorgang mit der Lösung, inklusive Prüfung, plus die laufenden Kosten für Lizenzen, Nutzung, Wartung und Betreuung.
Und eine Frage, die oft fehlt: Haben die Mitarbeitenden die Lösung im Pilot tatsächlich genutzt oder nur, wenn jemand nachgefragt hat?
2. Was passiert ausserhalb der Testfälle?
Pilotprojekte laufen meist mit guten Beispielen. Der Alltag liefert schlechtere: unvollständige Unterlagen, E-Mails auf Französisch, veraltete Stammdaten, fehlende Anhänge.
Vor dem Rollout sollte klar sein, welche Fälle getestet wurden, welche nicht und wo die bekannten Grenzen liegen.
Eine Lösung muss nicht jeden Sonderfall beherrschen. Sie muss aber erkennen lassen, wann sie unsicher ist. Ein sauberer Hinweis „Zuordnung unklar“ ist im Betrieb mehr wert als eine überzeugend formulierte falsche Antwort.
3. Wer entscheidet – und ist die Kontrolle überhaupt leistbar?
„Der Nutzer prüft das“ ist schnell gesagt. Vor dem Betrieb sollte für jeden relevanten Schritt festgelegt sein:
- was das System selbstständig tun darf
- was ein Mensch freigibt
- wer Regeln und Prompts ändern darf
- wer bei Fehlern reagiert und wer die Lösung im Zweifel abschaltet
Danach folgt der Realitätscheck. Wenn eine Fachperson täglich hundert KI-Vorschläge bestätigen soll, wird aus der Prüfung bald ein Durchklicken.
Kontrolle muss im Arbeitsablauf machbar sein, sonst existiert sie nur auf dem Papier. Wie eng sie sein muss, hängt von der möglichen Fehlerfolge ab: Eine Fristübernahme verlangt mehr als ein interner Textentwurf.
4. Woran merken wir, dass die Qualität nachlässt?
Vor der Einführung wird getestet, danach muss beobachtet werden. Neue Dokumenttypen kommen dazu, Prozesse ändern sich, Anbieter aktualisieren ihre Modelle. Eine Lösung, die heute gut arbeitet, kann in drei Monaten schleichend schlechter werden, ohne dass es jemand bemerkt.
Ein umfangreiches Monitoring braucht ein KMU dafür selten. Es reichen zwei oder drei Kennzahlen, etwa der Anteil manueller Korrekturen, die Zahl abgewiesener Fälle und die Kosten pro Vorgang.
Dazu braucht es eine Person, die regelmässig hinschaut und weiss, ab welchem Wert sie eingreift.
5. Was passiert, wenn etwas schiefläuft?
In einer gelungenen Demo stellt diese Frage niemand. Im Betrieb gehört sie zu den wichtigsten: Die KI ist nicht erreichbar, eine Schnittstelle fällt aus, die Ergebnisse werden offensichtlich falsch oder die Kosten steigen unerwartet.
Ein Krisenhandbuch braucht es dafür nicht, wenige Regeln genügen. Wer wird informiert? Wie lässt sich die Lösung stoppen? Funktioniert der bisherige manuelle Ablauf noch? Welche Vorgänge müssen nachträglich geprüft werden? Und wer entscheidet über den Neustart?
Ein produktives System muss nicht nur funktionieren. Es muss auch kontrolliert ausfallen können.
Vier mögliche Entscheidungen
Sind die fünf Fragen beantwortet, lässt sich entscheiden:
- Go: Der Nutzen ist belegt, der Betrieb vorbereitet, die Risiken sind beherrschbar.
- Anpassen: Der Pilot überzeugt, einzelne Punkte müssen vor dem Rollout gelöst werden.
- Weiter testen: Für eine belastbare Entscheidung fehlen Daten oder kritische Fälle.
- Stopp: Nutzen, Aufwand oder Risiko rechtfertigen den Betrieb nicht.
Auch ein Stopp kann ein gutes Ergebnis sein. Dann hat der Pilot getan, wofür er da ist: eine Fehlinvestition verhindert.
Ein Rat aus der Praxis: Die Kriterien für diese Entscheidung gehören vor den Pilot, nicht danach. Wer erst nach sechs begeisterten Testwochen festlegt, was „gut genug“ heisst, findet fast immer einen Grund für ein Go.
Ist Ihr Pilot bereit für den Betrieb?
Ich bewerte KI- und Automatisierungsvorhaben nach Nutzen, Machbarkeit und Risiko im echten Arbeitsablauf. Das Ergebnis kann ein Rollout sein, ein angepasster Pilot oder die Entscheidung, ein Vorhaben nicht weiterzuführen.
In 15 Minuten klären wir, ob sich eine genauere Prüfung lohnt.