Retrieval-Augmented Generation (RAG) und semantische Suchmaschine als Lösungs-Kombination

Retrieval-Augmented Generation mit Semantiksuche (SRAG) ist eine Methode, große Nachteile von GPT (wie ChatGPT) im Einsatz für lokale Dokumente zu reduzieren oder zu eliminieren.

1. Problem: Themen der lokalen Dokumente sind in GPT stark unterrepräsentiert oder ganz unbekannt. Durch RAG mit Semantiksuche (SRAG) werden semantisch passende Passagen in die GPT-Anfrage eingespeist.

2. Problem: GPT verletzt Datenschutzvorgaben und Geheimhaltung. Bei RAG mit Semantiksuche läuft ein GPT auf einem dedizierten Computer in einem deutschen Rechenzentrum oder on-premises beim Kunden. Die Erweiterung (Augmentierung) um Passagen aus lokalen Dokumenten wird auf demselben Computer vorgenommen. Alles bleibt im eigenen Haus!

3. Problem: GPT halluziniert, produziert Falschaussagen und Falschmeldungen. Bei SRAG wird ein Beleg aus eigenen Dokumenten verlangt.

4. Problem: Ergebnisse von GPT können nicht verifiziert werden. RAG mit Semantiksuche behält den Bezug zur eindeutig verifizierenden Text-Passage. Diese Verbindung kann nach Kundenwünschen aufbereitet und eingeblendet werden.

5. Problem: GPT ignoriert Zugriffsrechte. Im Bereich der unternehmensweite Suche (Enterprise Search) und anderen Bereichen spielen Zugriffsrechte, besonders die Leserechte (wer darf was sehen?), eine große Rolle. Ein großes Sprachmodell (LLM), wie es in GPT eingesetzt wird, kann Zugriffsrechte nicht nachbilden. Die Lösung in SRAG ist, dass schon die Auswahl der lokalen Dokumentstellen für die GPT-Anfrage die Zugriffsrechte berücksichtigt, denn die Semantiksuche setzt die Zugriffsrechte bereits um. Nur die Text-Ausschnitte, die der aktuelle Nutzer sehen darf, werden in GPT mitgegeben.

Die Stärke der Kombination aus Retrieval-Augmented Generation und Retrieval-Komponente hängt natürlich von der Stärke beider Komponenten ab. Wir können als Retrieval-Komponente die bewährte kognitive Suchmaschine SEMPRIA-Search anbieten. Diese haben wir gekoppelt mit einem auf Deutsch und Englisch spezialisierten GPT (inklusive LLM), die auf lokaler Hardware läuft. Jede Suchmaschine von SEMPRIA kann daher rasch um Retrieval-Augmented Generation erweitert werden. Je nach Suchanfrage wird RAG mit Semantiksuche zugeschaltet, um die Suchergebnisse zu optimieren.

Wenn Sie mit Ihrer bisherigen internen Suchmaschine hadern, dann wechseln Sie doch einfach auf eine aktuelle Suchmaschine und schaffen gleich einen weiten Sprung in die KI-Welt von GPT, aber natürlich mit Lösung aller 5 genannten Probleme. Falls Sie ein Testsystem mit Retrieval-Augmented Generation (RAG) für die deutsche Sprache ausprobieren möchten, rufen Sie uns gern an: +49 211 566693-57

Das Diagramm in Abbildung 1 zeigt, wie ein kombiniertes System aussieht und funktioniert.