12 Fragen an deine KI-Agentur, bevor ein KI-Agent an dein Geschäft darf

Warum Referenzen weniger aussagen als Architektur-Antworten

Wenn du eine KI-Agentur nach ihren Referenzen fragst, bekommst du fast immer eine kuratierte Liste. Drei Logos, zwei Zitate, ein Fallbeispiel ohne unangenehme Details. Das ist kein Vorwurf - es ist das Normale. Entscheidend ist aber nicht, was eine Agentur schon gebaut hat, sondern wie sie über Betrieb denkt.

Ein KI-Agent ist kein Werkzeug, das du einmalig einsetzt und wieder weglegst. Er greift auf deine Systeme zu, trifft Vorentscheidungen, schreibt in deinem Namen oder liest Kundendaten. Das Risiko sitzt nicht in der Demo - es sitzt im laufenden Betrieb, in der Nacht, an einem Dienstag, wenn niemand hinschaut.

Anbieter, die echten Betrieb kennen, antworten auf technische und organisatorische Fragen präzise. Anbieter, die hauptsächlich Projekte pitchen, weichen aus oder verschieben die Klärung auf «nach dem Kick-off». Genau diesen Unterschied macht der folgende Katalog sichtbar.

Fragen 1-3: Zugriff, Grenzen, Trennung

Diese drei Fragen klären, ob der Anbieter überhaupt verstanden hat, was es bedeutet, wenn eine Software-Komponente in deinem Namen handelt.

Frage 1: Auf welche Systeme und Daten greift der Agent konkret zu - und auf welche nicht?

Eine gute Antwort benennt konkrete Integrationen, erklärt das Prinzip der minimalen Berechtigungen und beschreibt, wie Zugriffe technisch begrenzt werden. Schlechte Antworten klingen nach «das hängt vom Use Case ab» ohne jede Konkretisierung.

Was du hören willst: Der Agent bekommt nur Lesezugriff auf das, was er für seine Aufgabe braucht. Schreibzugriffe sind separat definiert, dokumentiert und im Zweifel manuell freigegeben.

Frage 2: Wie sind eure Agenten von anderen Kundensystemen getrennt?

Diese Frage betrifft Mandantentrennung. Wenn ein Anbieter eine geteilte Infrastruktur betreibt, ohne sauber zu erklären, wie deine Daten von denen anderer Kunden isoliert sind, ist das ein ernsthaftes Signal. Eine belastbare Antwort beschreibt konkrete technische Maßnahmen - eigene Umgebungen, getrennte Datenbanken oder ähnliches - und keine allgemeinen Sicherheitsversprechen.

Frage 3: Welche Handlungen kann der Agent niemals selbstständig ausführen - egal welche Anweisung er bekommt?

Harte Grenzen - sogenannte Guard Rails - müssen technisch verankert sein, nicht nur im Prompt. Wenn ein Anbieter erklärt, dass bestimmte Aktionen durch die Systemarchitketur ausgeschlossen sind und nicht durch einen gut formulierten Prompt umgangen werden können, zeigt das Betriebsreife. Wer dagegen sagt «der Agent macht nur, was wir ihm sagen», hat das Problem nicht verstanden.

Fragen 4-6: Freigabe, Protokoll, Rücknahme

Diese drei Fragen klären, ob du als Geschäftsführer oder Inhaber jederzeit die Kontrolle zurückgewinnen kannst - oder ob der Agent schnell eine Eigendynamik entwickelt, die du nicht mehr steuern kannst.

Frage 4: Wie funktioniert der Freigabe-Prozess für Aktionen mit Außenwirkung?

Aktionen mit Außenwirkung sind E-Mails an Kunden, Bestellungen bei Lieferanten, Änderungen in CRM-Systemen, Zahlungsauslösungen. Eine seriöse KI-Agentur beschreibt, welche dieser Aktionen menschliche Freigabe erfordern und wie diese technisch erzwungen wird - nicht nur empfohlen.

Frage 5: Was wird protokolliert, wo liegt das Protokoll, und wer kann es einsehen?

Ohne lückenloses Protokoll keine Nachvollziehbarkeit. Eine gute Antwort nennt, welche Ereignisse geloggt werden, in welchem Format, wie lange die Logs aufbewahrt werden und ob du als Kunde eigenen Zugriff hast. Logs, die nur der Anbieter einsehen kann, helfen dir im Streitfall nicht weiter.

Frage 6: Wie nehmt ihr Berechtigungen zurück - und wie schnell?

Stell dir vor, ein Mitarbeiter verlässt das Unternehmen und hatte dem Agenten bestimmte Freigaben erteilt. Oder du möchtest den Agenten sofort stoppen, weil er sich unerwünscht verhält. Eine gute Antwort beschreibt einen klaren Prozess: welche Schritte, welche Zeitspanne, wer zuständig. «Wir kümmern uns dann» ist keine Antwort.

Fragen 7-9: Wissen, Ablauf, Reproduzierbarkeit

Ein Agent kann nur so gut sein wie das Wissen, auf das er zugreift, und nur so zuverlässig wie der Prozess, den er ausführt. Diese drei Fragen prüfen, ob der Anbieter beides strukturiert denkt.

Frage 7: Woher bezieht der Agent sein Wissen über dein Unternehmen - und wie bleibt dieses Wissen aktuell?

Viele Agenten werden mit einem initialen Datensatz trainiert oder gefüttert und dann sich selbst überlassen. Wenn sich dein Produktsortiment, deine Preise oder deine Prozesse ändern, handelt der Agent auf Basis veralteter Daten weiter. Eine gute Antwort beschreibt, welche Mechanismen die Wissensbasis aktuell halten - ob durch automatische Synchronisation, manuelle Pflegeprozesse oder beides.

Frage 8: Wie ist der Ablauf dokumentiert, den der Agent ausführt?

Prozesse in Agentenform müssen genauso dokumentiert sein wie manuelle Prozesse - idealerweise klarer, weil die Ausführung unsichtbar passiert. Ein Anbieter mit echtem Betriebsverständnis kann dir zeigen, welche Schritte ein Agent in welcher Reihenfolge ausführt, welche Verzweigungen es gibt und was bei unerwarteten Eingaben passiert.

Frage 9: Wie stellt ihr sicher, dass der Agent bei gleicher Eingabe verlässlich gleich handelt?

Reproduzierbarkeit ist ein unterschätztes Thema. Sprachmodelle sind probabilistisch - bei gleicher Eingabe kann die Ausgabe leicht variieren. Für viele Anwendungen ist das kein Problem. Für andere - etwa für Compliance-relevante Prüfungen oder Angebotserstellungen - ist es eines. Ein Anbieter, der das nicht anspricht, hat diesen Unterschied nicht durchdacht.

Fragen 10-12: Fehler, Betrieb, Ausstieg

Die letzten drei Fragen sind die unbequemsten - und deshalb die aufschlussreichsten. Sie prüfen, wie ein Anbieter mit dem rechnet, was schiefgehen kann, und ob du im Ernstfall handlungsfähig bleibst.

Frage 10: Was passiert, wenn der Agent einen Fehler macht - wer trägt die Verantwortung und wie wird er korrigiert?

Diese Frage hat eine rechtliche und eine operative Dimension. Operativ: Gibt es einen definierten Prozess, um Fehlentscheidungen rückgängig zu machen oder einzugrenzen? Rechtlich: Schiebt der Anbieter Verantwortung vollständig auf dich ab, sobald der Agent deployed ist? Ein seriöser Anbieter erklärt beides klar - ohne Rechtsberatung zu betreiben, aber ohne die Frage wegzudrücken.

Frage 11: Wer ist im laufenden Betrieb für den Agenten verantwortlich - auf eurer und auf meiner Seite?

Viele KI-Projekte scheitern nicht beim Aufbau, sondern danach - weil unklar ist, wer sich kümmert. Auf Anbieterseite sollte eine benannte Person oder ein Team zuständig sein, nicht «das Support-Ticket-System». Auf deiner Seite braucht es eine klare interne Zuständigkeit. Anbieter, die das nicht ansprechen, planen keinen echten Betrieb, sondern eine Übergabe.

Frage 12: Wie sieht ein sauberer Ausstieg aus - was bekommst du mit, wenn du den Vertrag beendest?

Das ist die Frage, die viele Auftraggeber vergessen, bis es zu spät ist. Wenn du die Zusammenarbeit beendest: Welche Daten bekommst du in welchem Format? Welche Konfigurationen, Prozessdokumentationen und Wissensdaten gehören dir? Wie lange hat der Anbieter noch Zugriff auf deine Systeme? Ein guter Anbieter hat darauf eine klare Antwort - und formuliert sie nicht erst nach Vertragsabschluss.

Antworten, bei denen du weitersuchen solltest

Nicht jede schwache Antwort ist Absicht - manchmal fehlt schlicht die Erfahrung. Trotzdem lohnt es sich, klare Muster zu kennen, die auf fehlendes Betriebswissen hinweisen.

Es gibt eine strukturelle Herausforderung, die auch seriöse Anbieter betrifft: Produktivitätsgewinne durch KI-Agenten sind selten gleichmäßig verteilt. Was für einen Prozess oder ein Team sehr gut funktioniert, kann für einen anderen Kontext deutlich weniger bringen - abhängig von der Qualität der Ausgangsdaten, der Klarheit der Prozesse und der internen Bereitschaft zur Nutzung. Wer dir garantierte Ergebnisse ohne diese Kontextvariablen verspricht, rechnet nicht realistisch.

Zwei Fragen, bei denen auch wir nachlegen müssen

Wir haben diesen Katalog bewusst so formuliert, dass er auch uns als Anbieter unter Druck setzt. Zwei Punkte, bei denen wir ehrlich sind:

Frage 9 zur Reproduzierbarkeit

Vollständige Reproduzierbarkeit bei sprachmodellbasierten Agenten ist ein offenes Feld. Wir können Temperaturwerte reduzieren, deterministische Pfade bevorzugen und Tests automatisieren - aber eine absolute Garantie gibt es nicht. Was wir sagen können: Wir benennen für jedes Szenario, für welche Anforderungen ein probabilistisches Verhalten akzeptabel ist und wann es nicht akzeptabel ist, und bauen entsprechend.

Frage 10 zur Verantwortung bei Fehlern

Die Frage, wer bei einem Agentenfehler verantwortlich ist, hat keine einfache Antwort - rechtlich nicht und operativ nicht. Wir klären das vertraglich so präzise wie möglich, aber wer dir sagt, er habe das vollständig gelöst, übertreibt. Was wir tun: Korrekturprozesse definieren, Haftungsverteilung transparent machen und keine Systeme deployen, bei denen unkontrollierte Außenwirkung unklar bleibt.

Was ein seriöses Angebot mindestens beschreibt

Jenseits des Gesprächs entscheidet das schriftliche Angebot. Ein seriöses Angebot einer KI-Agentur enthält mindestens folgende Elemente - nicht als Anhang, sondern als Teil der Leistungsbeschreibung:

Genau das ist der Anspruch, den wir auch an unsere eigene Arbeit stellen. Unser KI-Betriebssystem ist darauf ausgelegt, KI-Agenten nicht nur zu bauen, sondern sie als verantwortliche Betriebskomponente zu verankern - mit klarer Zugriffsarchitektur, definierten Freigabeprozessen und laufender Betriebsverantwortung.

Fragen aus der Praxis