Ersetzt ChatGPT Suchmaschinen?

ChatGPT ist ein zur Zeit viel diskutiertes Kommunikationstool, das für viele Zwecke eingesetzt wird: Fragen beantworten, Programmcode erzeugen, Fehler finden u.v.m. Wir wollen uns hier auf einen Einsatzfall konzentrieren, der uns am nächsten liegt. Kann ChatGPT eine gute Suchmaschine mit wirklichem Sprachverstehen ersetzen? GPT-Systeme (GPT bedeutet: generative pre-trained transformer) liefern oft erstaunlich gute, aber auch ausgesprochen schlechte Ergebnisse. Woran liegt das? Dazu schauen wir uns ein paar wichtige Eigenschaften von ChatGPT an und beleuchten, was diese bedeuten.

Tatsache ist, dass ChatGPT immer auf einem mehr oder minder aktuellen Schnappschuss eines Teils des Internets basiert. Das hat verschiedene Konsequenzen: So kann eine neue Information nicht ohne weiteres für den Dialog fruchtbar gemacht werden. Wenn z.B. der Bundeskanzler zurücktritt, dann ist das dem System erst nach einem aufwändigen Neu-Training bekannt, während diese Information für Suchmaschinen bereits durch einen einzigen, effizienten Index-Update zur Verfügung steht. In Fachdomänen performt ChatGPT noch schlechter, da viele relevante Inhalte in der Lernphase fehlten; konkrete Beispiele folgen am Ende. Für Suchmaschinen entsteht dieses Problem nicht, da sie nicht „trainiert“ werden müssen. Obwohl auch hier eine Anpassung an die Fachdomäne sinnvoll sein mag, ist diese (anders als bei ChatGPT) leicht und preiswert möglich.

Ein zweites wichtiges Handicap besteht bei ChatGPT darin, dass es keine interne Repräsentation der Semantik der Texte besitzt. Dies ist generell bei KI-Systemen so, die auf maschinellem Lernen mit neuronalen Netzen beruhen. Bei ChatGPT kann deshalb auch nicht wie bei Suchmaschinen eine Wissensbasis durch Wissensingenieure um Fachtermini, Thesauri oder logische Inferenz-Regeln erweitert werden. In kognitiven, Semantik-basierten Suchmaschinen ist intern eine Repräsentation der Fakten und logischen Schlussregeln sowie ein Verweis auf die jeweiligen Quellen vorhanden, so dass bei Bedarf jeder Output begründet werden kann. Dies sollte ein integraler Bestandteil einer erklärbaren KI (explainable AI) sein. Aus den genannten Gründen kann ChatGPT auch keine Antworten erklären oder verifizieren und liefert deshalb viele unsinnige Antworten.

Hinzu kommt, dass ChatGPT auf Englisch fokussiert ist, was schon durch die Ausrichtung des Webs und der Web-Kulturen auf Englisch bedingt ist. Je weiter die für die Kommunikation mit ChatGPT vorgesehene Sprache von Englisch entfernt ist (linguistisch gesehen), desto schlechter werden die Ergebnisse. Das gilt auch schon für Sprachen mit recht vielen Sprechern (wie etwa Deutsch) und umso mehr für Sprachen, die im Web nur mit wenigen Millionen Sätzen vertreten sind.

ChatGPT will immer etwas antworten oder eben ständig schwatzen (engl. to chat). Gerade in unbekannten oder unverstandenen Bereichen hat ChatGPT Probleme. Es halluziniert, rät falsch, assoziiert unzulässig und erzeugt Unwahrheiten. Im letzten Fall würde man von Lügen sprechen, wenn das KI-Tool ChatGPT ein Bewusstsein hätte.

Darüber hinaus kann ChatGPT keine Quellen nennen, was technisch am verwendeten Trainingsalgorithmus liegt. Es gibt eben nur noch Neuronen mit ihren Erregungsmustern, aber keine Texte und deren semantische Repräsentationen. Aus all dem folgt: Man ist verurteilt, der Antwort von ChatGPT zu trauen, ohne in den Quellen selbst Belege finden zu können. ChatGPT verführt manche sogar dazu, zweifelhafte Inhalte ohne Belege zu verbreiten. Gerade bei solchen Aussagen, ist es aber wichtig, dass man sich anhand der Quellen von der Zuverlässigkeit des Ergebnisses vergewissern kann.

Beispiele

Vorbemerkung. Die Fachbegriffe in den folgenden Beispielen kennt das eine oder andere GPT-Sytsem in der Zwischenzeit. Das grundsätzliche Problem ist aber nicht gelöst, denn es gibt in Fachdomänen immer wieder Fachbegriffe, die im GPT-System unbekannt sind.

Eine Studierenden-Gruppe will sich über den Architektur-Begriff Fiale informieren, s. Wikipedia-Artikel.

Frage: Was ist eine Fiale?

Antwort: Ich bin mir nicht sicher, was Sie mit „Fiale“ meinen. Könnten Sie mir mehr Informationen geben oder einen Kontext nennen?

Neuer Versuch mit der Frage: Wie sieht eine Fiale aus?

Antwort: Eine Fiale ist ein kleines, fläschchenförmiges Gefäß aus Glas oder Kunststoff, das zur Aufbewahrung von Medikamenten oder anderen Flüssigkeiten verwendet wird.

Diese falsche Aussage und 4 weitere falsche Aussagen hat ChatGPT aus einer Erklärung des Begriffs Phiole genommen.

Neues Thema mit der Frage: Was sind Zwerchhäuser?

Antwort: Zwerchhäuser oder auch Zwerchfellmuskel, sind ein wichtiger Muskel im menschlichen Körper, der ...

ChatGPT kennt diesen Fachbereich wohl kaum und strapaziert lieber unser Zwerchfell :-)

Foto: © SEMPRIA GmbH