ChatGPT réinvente la génération de langage. Cette avancée technologique dévoile un fonctionnement similaire à celui de l’esprit humain. Les recherches démontrent que l’intelligence artificielle ne se limite pas à des règles grammaticales ; elle s’appuie sur des exemples accumulés et des souvenirs, matérialisant une approche analogique inédite.
Ancrée dans des analyses poussées, cette découverte remet en question les perceptions traditionnelles sur l’apprentissage des modèles de langage. La thèse selon laquelle des données découlent strictement de règles apprises s’effondre face à l’évidence d’un raisonnement analogique, indissociable de l’expérience humaine. Dans cet esprit, il est fondamental de comprendre les implications profondes de cette dynamique sur le développement de l’intelligence artificielle.
Thèse centrale de l’étude
Une recherche récente, dirigée par des scientifiques de l’Université d’Oxford et de l’Allen Institute for AI, a révélé que les modèles de langage de grande taille, tels que ChatGPT, généralise les schémas linguistiques de manière analogue à l’humain, se fondant sur des exemples plutôt que sur des règles grammaticales strictes. Cette étude remet en question l’idée prédominante que ces modèles apprennent principalement par l’inférence de règles à partir de leurs données d’entraînement.
Expérimentation avec des adjectifs innovants
Les chercheurs ont examiné les jugements d’humains comparés aux prédictions de GPT-J, un modèle de langage open-source. Ils ont utilisé un schéma courant de formation des mots en anglais, convertissant des adjectifs en noms via les suffixes « -ness » et « -ity ». Par exemple, « happy » devient « happiness ». Cette expérience a inclus la création de 200 adjectifs fictifs, tels que « cormasive ».
Analogie et mémorisation
Les résultats ont montré que GPT-J utilise un raisonnement analogique, s’appuyant sur des similarités avec des mots réels rencontrés dans ses données d’entraînement. Plutôt que d’appliquer des règles, il génère des réponses basées sur des analogies. Par exemple, « friquish » est converti en « friquishness » car ce suffixe rappelle des mots comme « selfish », tandis que pour « cormasive », les influences proviennent de paires de mots connus.
Influence des occurrences dans les données d’entraînement
L’étude a aussi mis en lumière l’impact des occurrences des formes de mots dans les données d’entraînement. Les réponses de l’LLM ont été examinées sur près de 50 000 adjectifs en anglais. Les prédictions du modèle coïncidaient avec des schémas statistiques des données d’entraînement, montrant une précision impressionnante. L’LLM semblait avoir formé une mémoire de chaque exemple de mot rencontré durant l’apprentissage.
Différences entre l’humain et le modèle linguistique
Les humaines constituaient un dictionnaire mental riche, intégrant toutes les formes de mots significatifs, sans se limiter à leur fréquence. Ils reconnaissent que « friquish » et « cormasive » ne sont pas des mots en anglais. Pour traiter ces néologismes potentiels, ils opèrent des généralisations analogiques reposant sur leur banque de mots connue.
Caractéristiques des LLMs
Les LLMs, à l’inverse, génèrent leurs réponses en s’appuyant directement sur les instances spécifiques des mots dans leurs ensembles d’entraînement, sans créer d’entrées unifiées dans un dictionnaire mental. L’approche de ces modèles est plus rigide, se concentrant sur la répétition d’exemples plutôt que sur l’abstraction.
Implications pour l’avenir de l’IA
Senior author, Janet Pierrehumbert, a affirmé que, bien que les LLMs puissent répondre avec virtuosité, ils manquent d’abstraction humaine. Cette limitation explique probablement la nécessité d’une quantité massive de données pour l’apprentissage linguistique, bien plus que ce qu’un humain requiert.
Collaboration entre disciplines
Le co-auteur, Dr. Valentin Hofman, a souligné l’importance de la synergie entre linguistique et IA. Les résultats fournissent une vision approfondie de la génération linguistique par les LLMs et faciliteront les avancées vers une IA robuste, efficiente et explicable.
Ce projet a également impliqué des chercheurs d’institutions prestigieuses telles que la LMU Munich et l’Université Carnegie Mellon.
Pour des développements récents sur les avancées technologiques en IA, découvrez des articles connexes sur Google Gemini, NVIDIA, formation des LLM, intelligence artificielle et outils IA.
Foire aux questions courantes sur ChatGPT : un générateur de langage qui privilégie les exemples et les souvenirs comme les humains
Comment ChatGPT génère-t-il des phrases similaires à celles d’un humain ?
ChatGPT utilise des analogies basées sur des exemples mémorisés, plutôt que de suivre strictement des règles grammaticales. Cela lui permet de produire des phrases en s’appuyant sur des similarités avec des mots qu’il a déjà rencontrés dans ses données d’apprentissage.
Quelles méthodes ChatGPT utilise-t-il pour comprendre des mots inconnus ?
Lorsque ChatGPT rencontre des mots inconnus, il s’appuie sur sa base de connaissances en comparant ces mots à des exemples similaires qu’il a mémorisés, ce qui l’aide à déterminer leur forme correcte dans une phrase.
Pourquoi les exemples sont-ils plus importants que les règles pour ChatGPT ?
Les exemples permettent à ChatGPT d’apprendre de manière plus intuitive et adaptative, comme le fait un humain. Cela lui permet de mieux générer des mots et des phrases, tout en étant limité par son besoin d’accéder à des données variées et nombreuses.
Comment les fréquences des mots affectent-elles les réponses de ChatGPT ?
Les mots et expressions que ChatGPT rencontre le plus fréquemment dans ses données d’apprentissage auront une influence plus forte sur ses réponses. Cela signifie qu’il est plus susceptible de créer des phrases avec ces mots que ceux qu’il a vus moins souvent.
Quelle est la différence entre la façon dont les humains et ChatGPT forment des analogies ?
Les humains créent des analogies à partir d’une base mentale de mots significatifs, tandis que ChatGPT génère des analogies en se basant directement sur des exemples spécifiques de son jeu de données d’apprentissage, sans former un dictionnaire mental unifié.
ChatGPT peut-il répondre à des questions sur des sujets qu’il n’a jamais rencontrés ?
Bien que ChatGPT puisse traiter de nouveaux sujets, sa capacité à fournir des réponses pertinentes dépend fortement de sa compréhension basée sur les exemples qui lui ont été fournis lors de son entraînement.
Les performances de ChatGPT en matière de génération de langage peuvent-elles être améliorées ?
Oui, les performances de ChatGPT peuvent être renforcées par l’incorporation de données d’apprentissage supplémentaires et diversifiées, ce qui lui permettrait de mieux analyser et générer des réponses en utilisant des techniques analogiques.
