ChatGPT: Wie der KI-Chatbot funktioniert (und warum er ein echter Gamechanger ist)

Was den Durchschnittsbürger an Science-Fiction denken lässt, ist für KI-Forscher nur der nächste logische Schritt: ChatGPT gilt als Vorgeschmack dessen, was Künstliche Intelligenz (genauer: maschinelles Lernen) zu leisten vermag. Warum lässt der Chatbot uns staunen und gängige Sprachassistenten alt aussehen?

(Chatbot /Pixabay-Lizenz)

Was unterscheidet ChatGPT von Alexa, Siri und Google Assistant?

Während Alexa, Siri und der Google Assistant vorrangig dafür entwickelt wurden, punktuell Fragen zu beantworten und Befehle auszuführen, ist ChatGPT zu echten Dialogen fähig. 

ChatGPT erinnert sich an vergangene "Gespräche", während herkömmliche Sprachassistenten mit jeder Konversation quasi bei null anfangen.

Technologisch ausgedrückt: ChatGPT ist ein generatives (lat. generare: "erzeugen") KI-Modell, das anhand historischer Daten etwas komplett Neues hervorbringt. Google Assistant, Alexa und Siri dagegen lesen – salopp formuliert – lediglich Informationen aus dem World Wide Web vor.

Alltägliches Beispiel: Eine für herkömmliche Sprachassistenten typische Antwort wie "Entschuldige, das habe ich nicht verstanden" werdet ihr von ChatGPT nicht hören. Aber: Fordert ihr ChatGPT auf, das Licht in eurer Wohnung einzuschalten, wird es euch sagen, dass es das nicht kann – während Alexa & Co. sofort Folge leisten (sofern eure vier Wände entsprechend ausgerüstet sind).

Was sagt die KI-Forschung zu ChatGPT?

Volker Tresp ist Professor für maschinelles Lernen an der Ludwig-Maximilians-Universität München. Im Februar 2023 gab er dem KI-Fachportal "The Decoder" ein Interview, unter anderem mit folgenden Einschätzungen zum Thema ChatGPT: 

➤ ChatGPT ist ein Sprachmodell, das mithilfe von maschinellem Lernen riesige Textmengen analysiert. Es nutzt quasi das gesamte Wissen des World Wide Web sowie zahlreiche Informationen aus digitalisierten Büchern und Artikeln.

➤ Auch wenn ChatGPT gelegentlich noch fehlerhaft antwortet, seien die technischen Erfolge (O-Ton Tresp) "phänomenal". Sie würden in den nächsten Jahren den Umgang mit Information und Wissen in Gesellschaft, Wissenschaft und Wirtschaft wesentlich verändern.

➤ Europa hinkt hinterher: Aktuell sind US-amerikanische und chinesische Tech-Riesen absolut federführend im Bereich der Sprachmodelle.

Wie funktioniert ChatGPT?

GPT steht für Generative Pre-trained Transformer. Diese Sprachmodelle suchen bei der Texterstellung immer das nächste passende Wort – bis ein fertiger Text entstanden ist. Jedem Wort ist dabei eine Liste von Wörtern zugeordnet, die ihm nachfolgen könnten. So kann ChatGPT Texte thematisch stimmig und mit menschenähnlichen Formulierungen fortsetzen.

Die Entwickler des hinter ChatGPT stehenden US-Unternehmens OpenAI trainierten das Modell mittels sehr großer Datensätze aus allgemeinen Texten (400 Milliarden Wörter aus Quellen wie Wikipedia, digitalisierten Büchern und dem WWW). So sollte der Bot statistische Eigenschaften von Sprache lernen – losgelöst von konkreten Aufgaben. 

Die dritte Generation GPT-3 besitzt 175 Milliarden Parameter, was es befähigt, längere Texte so zu verfassen, dass sie von menschlichen Erzeugnissen nicht mehr zu unterscheiden sind. Im März 2023 veröffentlichte OpenAI die nächste Generation: GPT-4 wurde mit 100 Billionen Parametern trainiert.

Wie können die Schwächen von ChatGPT behoben werden?

Diskriminierendes Antwortverhalten, falsche Tatsachenbehauptungen bis hin zu irrsinnigen Äußerungen: So oft ChatGPT brilliert, so haarsträubend fallen seine Antworten mitunter noch aus.

Auch hier gilt die alte Regel datenbasierten Arbeitens: Der Output kann nur so gut sein wie der Input. Stecke ich vorne Schrott rein, kann hinten kein Gold rauskommen (die Alchemisten unter euch können mir gerne widersprechen, ändert nichts an diesem Faktum).

Problem beim Input: Selbst Texte aus seriösen Quellen weisen Vorurteile auf, die unreflektiert vom Bot übernommen werden könnten. Die Folge wäre eine automatisierte Diskriminierung überall dort, wo ChatGPT arbeitet.

Um diese Fehlerquote zu verringern, trainiert OpenAI sein Sprachmodell zusätzlich mit menschlichen Lehrern. Diese KI-Methode des maschinellen Lernens nennt sich Reinforcement Learning (bestärkendes Lernen).

Diese menschliche Qualitätskontrolle ist jedoch nur ein Tropfen in einem Ozean: Selbst Tausende von Menschen geprüfte Musterlösungen decken nur einen Bruchteil der möglichen Nutzungsszenarien ab.

Die Lösung: ChatGPT muss diese exemplarischen menschlichen Musterlösungen verallgemeinern, um die ihnen zugrunde liegenden Leitlinien auf all seine Textberechnungen anwenden zu können.

Heißt in der algorithmischen Praxis: GPT kann zu jeder Anfrage mehrere Text-Kandidaten erzeugen und die beste auswählen. Das Modell ist fähig, sich selbst zu bewerten und somit sich selbst zu trainieren.

Das Training des Bots ist evolutionär: Sollte er anfangs nur das jeweils nächste Wort richtig vorhersagen, wird er durch das Reinforcement Learning befähigt, dieses Wort so zu wählen, dass die gesamte Antwort faktisch richtig, objektiv, aussagekräftig, diskriminierungsfrei und sinnvoll ist.

Die Funktionsweise von ChatGPT im Detail

Für diejenigen unter euch, die es mathematisch-algorithmisch detaillierter mögen, anbei ein Einblick. Wenn ihr richtig tief einsteigen wollt, empfehle ich euch den sehr ausführlichen Experten-Beitrag "So funktioniert ChatGPT" auf golem.de (siehe Link-Tipp am Ende).

So arbeitet ChatGPT (stark vereinfacht):

➤ Wörtern wird eine ungefähre Bedeutung zugewiesen.

➤ Jedes Wort wird einem Punkt in einem semantischen Raum zugeordnet (ähnlich wie Lebensmittel in Supermarkt-Regalen einsortiert werden). Die Semantik ist ein Teilgebiet der Linguistik und untersucht die Bedeutungen sprachlicher Zeichen und Zeichenfolgen.

➤ Trifft das Programm auf eine Leerstelle (= bildhaft gesprochen auf ein leeres Regal im Supermarkt), kann es anhand der Position der Stelle (= der Position des Supermarkt-Regals) abschätzen, in welcher Bedeutungsdimension sich der entstehende Satz befindet.

➤ Ein Transformer arbeitet mit einem Aufmerksamkeits-Mechanismus: Zu jedem Wort wird die Aufmerksamkeit des Sprachmodells auf bestimmte andere Ausdrücke im Text gelenkt. Dies sind Worte, die helfen, das Ausgangswort richtig zu interpretieren. Wird beispielsweise das Wort "Verteidiger" verarbeitet, achtet das Programm auf benachbarte Ausdrücke wie "Halbzeit" oder "Torwart", da sie die Bedeutung des Begriffs "Verteidiger" im vorliegenden Text richtig einordnen würden (wenn es denn um Fußball geht).

ChatGPT: Die KI-Show hat gerade erst begonnen

Was wir 2023 mit ChatGPT erleben, ist keine Revolution, sondern eine Evolution: Künstliche Intelligenz (maschinelles Lernen) wird sich in unserem Alltag (beruflich wie privat) immer stärker etablieren. 

Die 2023 beeindruckenden Leistungen von ChatGPT haben eine Welle losgetreten: Ob Alphabet (Google), Microsoft, Meta (Facebook), Alibaba oder Tencent – alle großen Tech-Player drücken angesichts der OpenAI-Erfolgsstory aufs Gaspedal. Dieser Wettbewerb wird die KI-Entwicklung noch stärker beschleunigen als sie sich ohnehin bereits vollzieht.

Bleibt wie immer die Frage: Wird Europa auch in diesem Digitalisierungs-Segment global den Anschluss verlieren? 

Fragt doch einfach mal ChatGPT. ;-)

Quellen:

• golem.de: So funktioniert ChatGPT
• the-decoder.de: ChatGPT ist "ein Meilenstein der KI-Forschung"
• computerwoche.de: Was ist Generative AI?

Link-Tipps:

• KI-Bot "ChatGPT": Keine Sensation, sondern der nächste logische Schritt
• ChatGPT & SEO: Was sagt Google zu KI-generierten Inhalten?
• Künstliche Intelligenz: 8 Teilbereiche auf einen Blick
• KI im Content-Marketing: Inhalte erstellen mit ChatGPT & Co. [Teil 1]
• KI im Content-Marketing: Inhalte erstellen mit ChatGPT & Co. [Teil 2]