ChatGPT reinvents die Sprachgenerierung. Diese technologische Fortschritt zeigt eine Funktionsweise, die der menschlichen Denkweise ähnelt. Forschungen zeigen, dass künstliche Intelligenz nicht auf Grammatikregeln beschränkt ist; sie basiert auf angesammelten Beispielen und Erinnerungen, wobei sie eine neuartige analytische Herangehensweise verkörpert.
Fundiert auf tiefgehenden Analysen hinterfragt diese Entdeckung die traditionellen Auffassungen über das Lernen von Sprachmodellen. Die These, dass Daten strikt aus gelernten Regeln abgeleitet werden, bricht angesichts der Evidenz eines analogischen Denkens, das untrennbar mit menschlicher Erfahrung verbunden ist, zusammen. In diesem Sinne ist es entscheidend, die tiefgreifenden Implikationen dieser Dynamik für die Entwicklung von künstlicher Intelligenz zu verstehen.
Zentrale These der Studie
Eine aktuelle Untersuchung, die von Wissenschaftlern der Universität Oxford und des Allen Institute for AI geleitet wurde, hat ergeben, dass große Sprachmodelle wie ChatGPT sprachliche Muster analog zum Menschen verallgemeinern und sich auf Beispiele stützen, anstatt auf strikte Grammatikregeln. Diese Studie stellt die vorherrschende Vorstellung in Frage, dass diese Modelle hauptsächlich durch die Ableitung von Regeln aus ihren Trainingsdaten lernen.
Experimentieren mit innovativen Adjektiven
Die Forscher untersuchten die Urteile von Menschen im Vergleich zu den Vorhersagen von GPT-J, einem Open-Source-Sprachmodell. Sie verwendeten einen gängigen Schema zur Wortbildung im Englischen, indem sie Adjektive über die Suffixe „-ness“ und „-ity“ in Nomen umwandelten. Zum Beispiel wird „happy“ zu „happiness“. Dieses Experiment umfasste die Erstellung von 200 fiktiven Adjektiven, wie „cormasive“.
Analogie und Gedächtnis
Die Ergebnisse zeigten, dass GPT-J analogisches Denken verwendet und sich auf Ähnlichkeiten mit realen Wörtern stützt, die in seinen Trainingsdaten vorkommen. Anstatt Regeln anzuwenden, generiert es Antworten auf der Grundlage von Analogien. Zum Beispiel wird „friquish“ zu „friquishness“ umgewandelt, weil diese Endung an Wörter wie „selfish“ erinnert, während die Einflüsse für „cormasive“ von bekannten Wortpaaren stammen.
Einfluss der Häufigkeit in den Trainingsdaten
Die Studie hat auch die Auswirkungen der Häufigkeit von Wortformen in den Trainingsdaten hervorgehoben. Die Antworten des LLM wurden an fast 50.000 Adjektiven im Englischen untersucht. Die Vorhersagen des Modells stimmten mit den statistischen Mustern der Trainingsdaten überein und zeigten eine beeindruckende Genauigkeit. Das LLM schien ein Gedächtnis für jedes Wortbeispiel gebildet zu haben, das während des Lernens begegnet wurde.
Unterschiede zwischen dem Menschen und dem Sprachmodell
Menschen haben ein reichhaltiges mentales Wörterbuch, das alle bedeutungsvollen Wortformen integriert, ohne sich auf ihre Häufigkeit zu beschränken. Sie erkennen, dass „friquish“ und „cormasive“ keine Wörter im Englischen sind. Um diese potenziellen Neologismen zu verarbeiten, erfolgen ihre analogischen Verallgemeinerungen basierend auf ihrem bekannten Wortschatz.
Merkmale von LLMs
Die LLMs hingegen generieren ihre Antworten direkt basierend auf spezifischen Instanzen von Wörtern in ihren Trainingsdatensätzen, ohne einheitliche Einträge in einem mentalen Wörterbuch zu schaffen. Der Ansatz dieser Modelle ist starrer und fokussiert sich mehr auf die Wiederholung von Beispielen als auf Abstraktion.
Implikationen für die Zukunft der KI
Die Hauptautorin, Janet Pierrehumbert, erklärte, dass, obwohl LLMs virtuose Antworten geben können, ihnen die menschliche Abstraktion fehlt. Diese Einschränkung erklärt möglicherweise die Notwendigkeit einer massiven Datenmenge für das Sprachlernen, erheblich mehr als ein Mensch benötigt.
Zusammenarbeit zwischen Disziplinen
Der Mitautor, Dr. Valentin Hofman, hob die Bedeutung der Synergie zwischen Linguistik und KI hervor. Die Ergebnisse bieten einen tiefen Einblick in die Sprachgenerierung durch LLMs und werden das Fortschreiten zu einer robusten, effizienten und erklärbaren KI erleichtern.
Dieses Projekt involvierte auch Forscher von renommierten Institutionen wie der LMU München und der Carnegie Mellon Universität.
Für aktuelle Entwicklungen über technologische Fortschritte in der KI entdecken Sie verwandte Artikel über Google Gemini, NVIDIA, Schulung von LLMs, künstliche Intelligenz und KI-Tools.
Häufig gestellte Fragen zu ChatGPT: ein Sprachgenerator, der Beispiele und Erinnerungen wie Menschen priorisiert
Wie erzeugt ChatGPT Sätze, die denen eines Menschen ähnlich sind?
ChatGPT verwendet Analogien, die auf gespeicherten Beispielen basieren, anstatt strikt den Grammatikregeln zu folgen. Dadurch kann es Sätze erzeugen, die sich auf Ähnlichkeiten mit Wörtern stützen, die es bereits in seinen Trainingsdaten begegnet ist.
Welche Methoden verwendet ChatGPT, um unbekannte Wörter zu verstehen?
Wenn ChatGPT auf unbekannte Wörter trifft, stützt es sich auf sein Wissen, indem es diese Wörter mit ähnlichen Beispielen vergleicht, die es gespeichert hat, was ihm hilft, ihre korrekte Form in einem Satz zu bestimmen.
Warum sind Beispiele für ChatGPT wichtiger als Regeln?
Beispiele ermöglichen es ChatGPT, intuitiver und anpassungsfähiger zu lernen, ähnlich wie ein Mensch. Dadurch kann es Wörter und Sätze besser generieren, während es durch die Notwendigkeit, auf vielfältige und umfangreiche Daten zuzugreifen, eingeschränkt ist.
Wie wirken sich die Wortfrequenzen auf die Antworten von ChatGPT aus?
Die Wörter und Ausdrücke, die ChatGPT in seinen Trainingsdaten am häufigsten begegnet, haben einen stärkeren Einfluss auf seine Antworten. Das bedeutet, dass es eher Sätze mit diesen Wörtern bildet als mit solchen, die es seltener gesehen hat.
Was ist der Unterschied zwischen der Art und Weise, wie Menschen und ChatGPT Analogien bilden?
Menschen erstellen Analogien aus einer mentalen Grundlage bedeutungsvoller Wörter, während ChatGPT Analogien direkt basierend auf spezifischen Beispielen aus seinem Trainingsdatensatz generiert, ohne einheitliche Einträge in einem mentalen Wörterbuch zu bilden.
Kann ChatGPT Fragen zu Themen beantworten, denen es noch nie begegnet ist?
Obwohl ChatGPT neue Themen behandeln kann, hängt seine Fähigkeit, relevante Antworten zu geben, stark von seinem Verständnis ab, das auf den Beispielen basiert, die ihm während des Trainings gegeben wurden.
Kann die Leistung von ChatGPT bei der Sprachgenerierung verbessert werden?
Ja, die Leistung von ChatGPT kann durch die Integration zusätzlicher und vielfältiger Trainingsdaten verstärkt werden, was ihm ermöglichen würde, Antworten besser zu analysieren und zu generieren, indem er analoge Techniken verwendet.
