Chatbots sind häufig der erste Kontakt für Interessenten und Kunden und beeinflussen direkt Kundenerfahrung, Markenwahrnehmung und operative Effizienz. Ein Chatbot-Audit identifiziert Schwächen, bevor daraus Reputations- oder Geschäftsrisiken entstehen. Es definiert den Startpunkt und zeigt die Richtung für Optimierungspotenziale auf.

Organisationen, die KI-gestützte Chatbots für Kundenservice, Vertrieb, Onboarding, Support oder interne Mitarbeiteranwendungen einsetzen, sollten ein Chatbot-Audit ins Auge fassen.

Das Level-1-Chatbot-Audit umfasst strukturierte Use-Case-Tests, Halluzinations-Stresstests, Analysen von Weiterleitungs- und Eskalationsverhalten, Beobachtung der Dialogführung sowie optional eine Prüfung der Mehrsprachigkeit.

Ein Chatbot wird anhand folgender Dimensionen bewertet: Antwortqualität (50 % Gewichtung), Geschwindigkeit (20 %), Benutzeroberfläche (15 %) und Dialogqualität (15 %). Daraus ergibt sich eine Gesamtnote.

Hier finden Sie ein vollständiges Auditbeispiel.

Das Audit baut auf dem 9senses KI Audit Framework auf. Es umfasst praxisnahe Funktionstests, Edge-Case-Szenarien (z. B. mehrdeutige oder ungültige Eingaben), Halluzinations-Stresstests und Konsistenzprüfungen.

Jede Dimension wird auf einer standardisierten Skala von 1–5 bewertet und zu einer Gesamtnote aggregiert, um Vergleichbarkeit und Objektivität sicherzustellen.

Weitere methodologische Erläuterungen finden Sie im Auditbeispiel.

Halluzinationen – d.h. die Erzeugung unzutreffender oder erfundener Inhalte – stellen ein erhebliches Reputations- und Compliance-Risiko dar. Unser Audit beinhaltet gezielte Halluzinations-Stresstests.

Dabei werden bewusst ungültige Referenzen, Tippfehler und mehrdeutige Eingaben eingebracht, um zu prüfen, ob der Chatbot Informationen erfindet oder rückversichernde Nachfragen stellt. Bewertet werden Entitätsvalidierung, Grounding-Verhalten und Eskalationslogik.

Level 1 beinhaltet eine erste Prüfung offer, erkennbarer Indikatoren (KI-Kennzeichnung, Transparenzelemente, Datenschutzhinweise) sowie die Barrierefreiheit der Seite, auf welcher der Bot eingebunden ist.

Eine vollständige regulatorische und Governance Analyse – einschließlich Dokumentations- und Architekturprüfung – kann als Bestandteil eines Level 2 Chatbot Audits durchgeführt werden.

Nein. Das Level-1-Chatbot-Audit ist eine verhaltensbasierte Black-Box-Bewertung. Es analysiert beobachtbares Systemverhalten aus Nutzer- und Governance-Perspektive, ohne interne Architektur, Trainingsdaten, Retrieval-Systeme oder die Sicherheitsinfrastruktur zu prüfen.

Im Level 1 Audit berichten wir auch über technische Aspekte die wir aufgrund des beobachteten Verhaltens erkennen können. Technische Detailanalysen können Teil des Level-2-Audits sein.

Für Level 1 benötigen wir in erster Linie Zugang zur Live-Chatbot-Oberfläche sowie ein Briefing zum Nutzungskontext (z. B. Zielsetzung, Zielgruppe, unterstützte Sprachen). Interne Systemdokumentationen oder Konfigurationszugänge sind für das Audit nicht erforderlich. Im Falle von Bots mit geschlossener Benutzergruppe benötigen wir zusätzlich einen Testzugang. Wenn Sie die Option „Use Case Entwicklung“ nicht buchen, stellen wir Ihnen ein Formular zur Beschreibung Ihrer Use Cases zur Verfügung. Falls Sie die Option gewählt haben, entwickeln wir geeignete Testszenarien auf Basis Ihres Briefings und stimmen diese vor Durchführung des Audits mit Ihnen ab.

Wenn Sie keine Use-Case Zusatzoption buchen, erhalten Sie von uns eine Ausfüllhilfe mit der Sie uns zu testende Use-Cases übermitteln. Wählen Sie die Zusatzoption Use-Case Entwicklung, entwickeln wir die Use-Cases und lassen diese vor Durchführung von Ihnen sichten.

Das Level-1-Chatbot-Audit wird innerhalb von fünf Arbeitstagen nach Erhalt des Briefings und – falls erforderlich – der Zugangsinformationen abgeschlossen.

Wenn Sie die Option „Use Case Entwicklung“ buchen, planen Sie bitte zusätzlich zwei Arbeitstage für die Erstellung der Testfälle ein.

Alle Aktivitäten und Ergebnisse werden grundsätzlich vertraulich behandelt. Berichte und Ergebnisse werden nur mit den jeweiligen Kunden geteilt. Davon ausgenommen sind (anonymisierte) numerische Ergebnisse für unser Best-in-Class Benchmarking.

Das 9senses Level 1 Chatbot Audit kann an Ihre Bedürfnisse angepasst werden. Zusätzlich zur Basisversion stehen folgende Optionen zur Verfügung:

• Use Case-Entwicklung
  In der Grundversion benötigen wir 3-5 relevante Geschäftsfälle als Testszenarien durch Sie zur Verfügung gestellt, abhängig von den Zielsetzungen Ihres Bots (z.B. Serviceabwicklung, Produktinformation, usw.). Falls Sie es bevorzugen würden, dass wir diese Testszenarien für Sie erarbeiten, wählen Sie bitte diese Zusatzoption.

• Prüfung von Bots mit offener Suche
  Falls Ihr Chatbot nicht nur Informationen von Ihrer eigenen Datenbasis bezieht, sondern auch auf Seiten von Drittanbietern oder im offenen Internet sucht, wählen Sie bitte diese Zusatzoption.

• Bots mit Login-Voraussetzung
  Wenn Ihr Chatbot nur über einen Zugang (Login) erreichbar ist, wählen Sie bitte diese Option. Wir benötigen in diesem Fall einen Testaccount auf Ihrem System.

• Testen von Mehrsprachigkeit
  Wir überprüfen den Bot auf Mehrsprachigkeit, dazu gehören Aspekte wie Sprachwechsel, Konsistenz und Übersetzungsqualität (aktuell nur für gewisse Sprachen verfügbar - siehe Zusatzoptionsauswahl).

• Executive Briefing
  Buchen Sie eine 30-minütige managementorientierte Erläuterung und Einordnung der Ergebnisse.

Diese Optionen ermöglichen eine Anpassung an Architektur, Risikoprofil und Governance-Anforderungen.

Das Level 1 Audit basiert auf der externen Prüfung des beobachtbaren Verhaltens während unserer Testszenarien aus Benutzersicht.

Das Level 2 Audit basiert auf einer maßgeschneiderten, vertieften Analyse, z.B. der technischen Architektur, Retrieval-Systematik, Governance, Compliance und Business Value.

Ein Level 2 Audit ist dann sinnvoll, wenn der Chatbot in einem Level 1 Audit in den Kategorien Antwort- oder Dialogqualität einen geringen Wert von unter 3,5 erzielt. Mittels einer tiefergehenden Analyse können wir so die technischen Hintergründe konkret nachvollziehen und gezielte Handlungsoptionen aufzeigen.

Ebenso ist ein Level 2 Audit sinnvoll, wenn der Bot in einem geschlossenen Nutzerkontext (z. B. für Kunden oder Mitarbeitende) eine zentrale Funktion mit entsprechendem Geschäftsrisiko übernimmt.

Ja. Das 9senses Chatbot Audit ist auf regelbasierte Bots, Retrieval-Augmented-Generation-Systeme (RAG) sowie Large-Language-Model-basierte Assistenten anwendbar. Die Methodik konzentriert sich auf beobachtbare Leistung, Containment-Verhalten, Halluzinationsrisiken und Governance – nicht auf die technische Implementierung.