Plausibel bedeutet nicht korrekt
KI für juristische Arbeit
Für juristische Themen ist der Einsatz künstlicher Intelligenz vielversprechend. Die Verarbeitung langer und strukturierter Dokumente ist zeitintensiv und oft repetitiv, und KI kann hier viel Aufwand einsparen. Gleichzeitig ist der Einsatz riskant, weil viele KI-Modelle zwar plausibel klingende und sprachlich saubere Antworten liefern, bei weniger geläufigen Themen aber schnell ins Fabulieren kommen. Sie halluzinieren. Im Rechtskontext bedeutet deshalb eine sprachlich geschliffene Antwort ohne genau nachvollziehbare Quellen nicht unbedingt eine Zeitersparnis, sondern ein signifikantes Risiko, dessen Erkennung schwierig ist.
Retrieval Driven Generation (RDG)
Normalerweise wird der Begriff "Retrieval Augmented Generation" verwendet, um die Unterstützung der Generierung durch spezifische Inhalte zu beschreiben. Wir haben dieses Konzept ausgeweitet, und nennen es "Retrieval vor Generierung" - dies bedeutet nichts anderes, als dass die meiste Arbeit in der Retrieval-Ebene passiert, sie bildet die Grundlage für die Suche, und sie liefert gleichzeitg die Prüfebene für die Generierung. Was nicht gefunden wird, wird nicht zitiert.
KI kann vieles, aber vieles aus Prinzip auch nicht. Wer diesen Unterschied nicht kennt, begibt sich aufs Glatteis.
Designprinzip von RvG
Wir haben unseren Ansatz erstmalig auf KI zum deutschsprachigen Recht angewandt, weil sich hier das Bedürfnis nach Präzision mit einer Sprache voller komplexer zusammengesetzter Substantive treffen - zwei Dinge, mit denen Sprachmodelle in der Regel wenig anfangen können.
Wie funktioniert unsere juristische RvG-Lösung
Zugriffsrechte zuerst
Die Suche findet nur auf denjenigen Daten statt, auf die Zugriff besteht. Was das Modell nicht sieht, kann nicht versehentlich in der Antwort verwendet werden - Vertraulichkeit ist immer gesichert.
Die Suche kann Deutsch
Der leistungsfähige hybride Ansatz kombiniert semantische Suche mit Stichwortsuche auf korrekten deutschen Wörtern, inklusive Komposita und Beugungen.
Gesetzesänderungen im Blick
Jede Frage und jede Antwort ist zeitlich verankert im Gültigkeitsbereich der jeweiligen Gesetze, altes Recht ist immer im Zugriff und vergleichbar.
Lokal und sicher
RvG-Systeme brauchen keine großen Sprachmodelle in der Cloud. Wenn alles lokal und unter Ihrer Kontrolle ist, verschwinden viele Risiken, z.B. auch aus § 203 StGB.
Der Suchraum wird bereits vor der Suche exakt durch die Berechtigungen begrenzt, die Nutzende für sich haben. Dokumente außerhalb dieses Bereichs stehen dem Sprachmodell gar nie zur Verfügung, was jedes Risiko eines unberechtigten Zugriffs ausschließt. Damit kann man spezifische Kundendaten im Bereich spezifischer Kundenteams halten und dennoch für KI-Abfragen nutzen.
Sprachmodelle sind primär für die englische Sprache gebaut, und auf englischem Text trainiert. Deutsch zum Beispiel ist zum Beispiel mit weniger als 6% des Trainingsdatensatzes unterrepräsentiert, und viele komplizierte Rechtsbegriffe sind den Modellen kaum bekannt.
Hinzu kommt, dass Beugungen viele Suchen überfordern, arbeiten diese doch mit sogenannten Lemmas, hinten abgeschnittenen Wortstämmen - leider oft unzuverlässig.
Unsere Retrieval-Ebene wird durch eine von uns entwickelte komplette Datenbank aller möglichen deutschen Begriffe unterstützt, einschließlich aller bekannten Komposita mit allen Beugungen. Hinzu kommen Synonyme für spezifische Rechtsbegriffe, die der Alltagssprache fremd sind. Jedes Wort, das existiert, wird auch gefunden.
Gefundene Textpassagen werden am Ende zu relevanten juristischen Kernaussagen verdichtet - und nur diese bekommt das Sprachmodell zu Gesicht. Ebenfalls wird jede Antwort in der relevanten Periode verankert, und Gesetzesänderungen an Periodengrenzen werden aktiv in die Antwort mit einbezogen. Und wenn eine Antwort generiert ist, wird sie nochmals gegen die gefundenen Quellen validiert. Wird nichts gefunden, sagt das System das auch deutlich, oder fragt nach.
Die ganze Infrastruktur bleibt unter Ihrer Kontrolle, entweder lokal oder auf eigenen Servern in gesicherten Rechenzentren. Kein einziges Dokument wird an irgendwelche externen Modelle in der Cloud geschickt. Damit reduzieren sich die komplexen Fragen rund um die Geheimhaltung (z,.b: aus dem deutschen § 203 StGB bzw. Art. 321 StGB in der Schweiz) auf solche der lokalen IT-Sicherheit, die auch für alle anderen lokalen IT-Systeme gelten. Die kleinen bis mittleren Sprachmodelle, die wir je nach Situation einsetzen, sind offen (Open Source) und zeigen ein kontrollierbares, stabiles Verhalten. Unsere Favoriten sind aktuell die in Europa entwickelten Mistral-Sprachmodelle.
Die Hardwareanforderungen sind überschaubar, ein kleinerer bis mittelgroßer GPU-Server genügt vollständig - entweder vor Ort oder in einem Rechenzentrum Ihrer Wahl. An keinem Ort der Verarbeitung ihrer vertraulichen Mandantendaten sind externe Services involviert.
Wichtige Vorteile
Wenn keine Daten in die Cloud wandern, ist eines der komplexesten Probleme für vertrauliche Kundendaten gelöst - und IT-Sicherheit bleibt eine lokale Angelegenheit.
Hinzu kommt, dass die Kosten vorhersehbar bleibe - es besteht kein Risiko, dass plötzlich überraschend hohe Rechnungen von LLM-Anbietern auftauchen.
Das erste System, das wir auf RvG-Basis entwickelt haben, ist AIlexy, ein lokal (ohne Cloud-Anbindung) betreibbares Suchsystem für deutsches Recht.