ChatGPT reinventa la generación de lenguaje. Este avance tecnológico revela un funcionamiento similar al de la mente humana. Las investigaciones demuestran que la inteligencia artificial no se limita a reglas gramaticales; se basa en ejemplos acumulados y recuerdos, materializando un enfoque analógico inédito.
Enraizada en análisis profundos, este descubrimiento cuestiona las percepciones tradicionales sobre el aprendizaje de los modelos de lenguaje. La tesis según la cual los datos derivan estrictamente de reglas aprendidas se derrumba ante la evidencia de un razonamiento analógico, indisociable de la experiencia humana. En este sentido, es fundamental comprender las implicaciones profundas de esta dinámica en el desarrollo de la inteligencia artificial.
Tesis central del estudio
Una investigación reciente, liderada por científicos de la Universidad de Oxford y del Allen Institute for AI, reveló que los modelos de lenguaje de gran tamaño, como ChatGPT, generalizan los patrones lingüísticos de manera análoga a los humanos, basándose en ejemplos en lugar de reglas gramaticales estrictas. Este estudio cuestiona la idea predominante de que estos modelos aprenden principalmente por inferencia de reglas a partir de sus datos de entrenamiento.
Experimentación con adjetivos innovadores
Los investigadores examinaron los juicios humanos comparados con las predicciones de GPT-J, un modelo de lenguaje de código abierto. Utilizaron un esquema común de formación de palabras en inglés, convirtiendo adjetivos en sustantivos a través de los sufijos «-ness» y «-ity». Por ejemplo, «happy» se convierte en «happiness». Esta experiencia incluyó la creación de 200 adjetivos ficticios, como «cormasive».
Analogía y memorización
Los resultados mostraron que GPT-J utiliza un razonamiento analógico, apoyándose en similitudes con palabras reales encontradas en sus datos de entrenamiento. En lugar de aplicar reglas, genera respuestas basadas en analogías. Por ejemplo, «friquish» se convierte en «friquishness» porque este sufijo recuerda palabras como «selfish», mientras que para «cormasive», las influencias provienen de pares de palabras conocidas.
Influencia de las ocurrencias en los datos de entrenamiento
El estudio también destacó el impacto de las ocurrencias de las formas de palabras en los datos de entrenamiento. Las respuestas del LLM fueron examinadas sobre cerca de 50,000 adjetivos en inglés. Las predicciones del modelo coincidían con los patrones estadísticos de los datos de entrenamiento, mostrando una precisión impresionante. El LLM parecía haber formado una memoria de cada ejemplo de palabra encontrado durante el aprendizaje.
Diferencias entre el humano y el modelo lingüístico
Los humanos conforman un diccionario mental rico, integrando todas las formas de palabras significativas, sin limitarse a su frecuencia. Reconocen que «friquish» y «cormasive» no son palabras en inglés. Para tratar estos neologismos potenciales, operan generalizaciones analógicas basadas en su banco de palabras conocido.
Características de los LLMs
Los LLMs, en cambio, generan sus respuestas basándose directamente en las instancias específicas de las palabras en sus conjuntos de entrenamiento, sin crear entradas unificadas en un diccionario mental. El enfoque de estos modelos es más rígido, centrándose en la repetición de ejemplos en lugar de la abstracción.
Implicaciones para el futuro de la IA
La autora principal, Janet Pierrehumbert, afirmó que, aunque los LLMs pueden responder con virtuosismo, carecen de la abstracción humana. Esta limitación explica probablemente la necesidad de una cantidad masiva de datos para el aprendizaje lingüístico, mucho más de lo que un humano requiere.
Colaboración entre disciplinas
El coautor, Dr. Valentin Hofman, subrayó la importancia de la sinergia entre lingüística e IA. Los resultados proporcionan una visión profunda de la generación lingüística por los LLMs y facilitarán los avances hacia una IA robusta, eficiente y explicativa.
Este proyecto también involucró a investigadores de instituciones prestigiosas como la LMU de Múnich y la Universidad Carnegie Mellon.
Para desarrollos recientes sobre avances tecnológicos en IA, descubre artículos relacionados sobre Google Gemini, NVIDIA, formación de LLM, inteligencia artificial y herramientas IA.
Preguntas frecuentes sobre ChatGPT: un generador de lenguaje que prioriza ejemplos y recuerdos como los humanos
¿Cómo genera ChatGPT frases similares a las de un humano?
ChatGPT utiliza analogías basadas en ejemplos memorizados, en lugar de seguir estrictamente reglas gramaticales. Esto le permite producir frases apoyándose en similitudes con palabras que ya ha encontrado en sus datos de aprendizaje.
¿Qué métodos utiliza ChatGPT para entender palabras desconocidas?
Cuando ChatGPT encuentra palabras desconocidas, se basa en su base de conocimientos comparando estas palabras con ejemplos similares que ha memorizado, lo que le ayuda a determinar su forma correcta en una frase.
¿Por qué son más importantes los ejemplos que las reglas para ChatGPT?
Los ejemplos permiten a ChatGPT aprender de manera más intuitiva y adaptativa, como lo hace un humano. Esto le permite generar mejor palabras y frases, al mismo tiempo que se ve limitado por su necesidad de acceder a datos variados y numerosos.
¿Cómo afectan las frecuencias de las palabras a las respuestas de ChatGPT?
Las palabras y expresiones que ChatGPT encuentra con más frecuencia en sus datos de aprendizaje tendrán una influencia mayor en sus respuestas. Esto significa que es más probable que cree frases con estas palabras que con aquellas que ha visto con menos frecuencia.
¿Cuál es la diferencia entre la forma en que los humanos y ChatGPT forman analogías?
Los humanos crean analogías a partir de una base mental de palabras significativas, mientras que ChatGPT genera analogías basándose directamente en ejemplos específicos de su conjunto de datos de aprendizaje, sin formar un diccionario mental unificado.
¿Puede ChatGPT responder preguntas sobre temas que nunca ha encontrado?
Aunque ChatGPT puede tratar nuevos temas, su capacidad para proporcionar respuestas relevantes depende en gran medida de su comprensión basada en los ejemplos que se le han proporcionado durante su entrenamiento.
¿Pueden mejorarse las performances de ChatGPT en la generación de lenguaje?
Sí, las performances de ChatGPT pueden ser reforzadas mediante la incorporación de datos de aprendizaje adicionales y diversificados, lo que le permitiría analizar y generar mejores respuestas utilizando técnicas analógicas.
