Las alucinaciones de Whisper de OpenAI
Investigadores advierten sobre el uso de Whisper, una herramienta de transcripción de OpenAI, en centros médicos. Anomalías recurrentes aparecen durante la transcripción de audio, provocando errores significativos. Varios estudios revelan la aparición de información ficticia, conocida como alucinaciones, donde aparecen medicamentos inventados o declaraciones inexactas.
Pruebas preocupantes
Un equipo de desarrolladores e investigadores ha descubierto que Whisper produce contenido falso en las transcripciones. Por ejemplo, una investigación de la Universidad de Michigan reveló que el 80 % de las transcripciones de audio contenían errores fácticos. Otro grupo de informáticos documentó nada menos que 187 alucinaciones a partir de un análisis de más de 13,000 grabaciones.
Las consecuencias en el ámbito médico
El uso de Whisper en entornos médicos plantea serias preocupaciones. La empresa Nabla, que aplica esta tecnología para transcribir visitas médicas, ha registrado aproximadamente siete millones de transcripciones. A pesar de su advertencia, parece no haber un sistema de verificación de contenido en su lugar, dejando dudas sobre la exactitud de los datos recopilados.
Problemas de privacidad y validación
Las normas de privacidad complican la capacidad de los profesionales para confirmar la veracidad de las transcripciones. Según Martin Raison, responsable técnico de Nabla, la eliminación de las grabaciones de audio busca garantizar la seguridad de los datos. Los proveedores de atención médica, siempre apresurados, se encuentran en una situación delicada donde el ochenta por ciento de las transcripciones requieren una revisión rápida, lo que puede obstaculizar la calidad de la atención.
Ejemplos de alucinaciones notables
Casos de alucinaciones evidencian los peligros asociados a interpretaciones erróneas. Por ejemplo, dos profesores de Cornell y de la Universidad de Virginia han observado que aproximadamente 40 % de las alucinaciones pueden inducir a error. Frases simples se transforman, como aquella donde un niño es presentado como poseedor de un cuchillo, ilustrando modificaciones perturbadoras.
El impacto en la percepción y la interpretación
Las representaciones sesgadas y las interpretaciones erróneas perjudican la comunicación. Los criterios raciales han sido, en particular, objetivos frecuentes para modificaciones incorrectas. Ejemplos incluyen discusiones sobre identidades étnicas transformadas, conduciendo a implicaciones sociales y políticas no deseadas.
Un entusiasmo tecnológico persistente
A pesar de estas fallas, el entusiasmo por Whisper persiste. La plataforma de código abierto HuggingFace ha registrado más de 4.2 millones de descargas recientemente. Su integración en sistemas como los de Oracle y Microsoft es testigo de una adopción creciente, planteando cuestionamientos sobre las responsabilidades de los diseñadores de IA.
Hacia un aumento de la responsabilidad
A medida que la tecnología de transcripción evoluciona, se oyen llamados a una regulación más estricta. La necesidad de establecer normas para el uso de IA en áreas sensibles se confirma, con el fin de preservar la calidad de la información y asegurar una mejor protección de los individuos.
Preguntas frecuentes sobre Whisper de OpenAI
¿Qué es Whisper de OpenAI?
Whisper es una herramienta de transcripción automática desarrollada por OpenAI, diseñada para convertir el habla en texto utilizando algoritmos de inteligencia artificial.
¿Cómo mejora Whisper la calidad de las transcripciones de audio?
Whisper utiliza tecnologías avanzadas de reconocimiento de voz para entender el contexto y producir transcripciones más precisas, pero también presenta riesgos de generar errores o alucinaciones.
¿Por qué pueden ocurrir alucinaciones en las transcripciones de Whisper?
Las alucinaciones en las transcripciones ocurren cuando el modelo de IA inventa información que no ha sido pronunciada, lo que puede deberse a errores de interpretación o a limitaciones en los datos de entrenamiento.
¿Cuáles son los riesgos asociados al uso de Whisper en el sector médico?
Utilizar Whisper para las transcripciones médicas puede llevar a errores graves, ya que información falsa o inventada podría afectar decisiones clínicas y la calidad de la atención.
¿Cómo verificar la exactitud de las transcripciones realizadas por Whisper?
No existe actualmente un método fiable para verificar la exactitud de las transcripciones ya que la herramienta elimina el audio por razones de privacidad, lo que dificulta la validación por terceros.
¿Whisper es utilizado por establecimientos de salud?
Sí, Whisper está integrado en herramientas de transcripción médica utilizadas por muchos clínicos y establecimientos de salud, pero su uso plantea preocupaciones debido a las alucinaciones potenciales.
¿Cuál es el impacto del uso de Whisper en la productividad de los profesionales de la salud?
Aunque Whisper puede acelerar el proceso de transcripción, el riesgo de errores a menudo exige que los profesionales revisen y corrijan las transcripciones, lo que puede compensar los ahorros de tiempo obtenidos.
¿Whisper es accesible para los desarrolladores?
Sí, Whisper está disponible como software de código abierto, permitiendo a los desarrolladores integrar esta tecnología en sus propias aplicaciones y servicios.
¿Cómo trata Whisper los diferentes acentos y dialectos?
Whisper está diseñado para reconocer diversos acentos y dialectos, pero la precisión de la transcripción puede variar según el modelo y los datos de entrada utilizados.
¿Cuál es la diferencia entre Whisper y otras herramientas de transcripción?
La principal diferencia reside en el algoritmo avanzado de Whisper que intenta comprender el contexto general, mientras que presenta el riesgo de alucinaciones, a diferencia de algunas herramientas que se centran estrictamente en la transcripción de palabras sin interpretación.
