Una investigación arroja luz sobre el uso de una herramienta de IA defectuosa por parte del DOGE, revelando problemas alarmantes en la asignación de contratos a los asuntos de los veteranos. Esta situación plantea interrogantes sobre la efectividad de la inteligencia artificial en áreas tan sensibles. La IA, diseñada para optimizar las decisiones, se ha enfrentado a graves fallos y ha planteado riesgos para la seguridad de los veteranos.
Contratos esenciales en peligro debido a decisiones automatizadas mal informadas. Se anticipan consecuencias perjudiciales para la calidad de la atención, cuando una tecnología inapropiada invade la humanidad. La falta de criterios claros y de comprensión de los problemas convierte esta iniciativa en una fuente de preocupaciones mayores.
Una herramienta de IA defectuosa en el DOGE
Una reciente investigación ha sacado a la luz el uso de una herramienta de inteligencia artificial defectuosa por parte del DOGE, con el objetivo de obtener contratos del departamento de asuntos de los veteranos. La herramienta, diseñada por el ingeniero Sahil Lavingia, debía analizar contratos identificando aquellos considerados como «munchables», es decir, superfluos para la misión esencial de la agencia.
Las decisiones erróneas de la IA
Lavingia reconoció que el sistema de IA no había sido diseñado para tomar tales decisiones, admitiendo que se habían cometido errores. El código de la IA se limitaba a un examen de los primeros 10,000 caracteres de los contratos, lo que resultó en la calificación de documentos cruciales como «munchables» sin un verdadero discernimiento. Esta restricción llevó a juicios erróneos sobre contratos esenciales relacionados con la seguridad y la comunicación con los veteranos.
Términos vagos y un método inapropiado
Las percepciones erróneas también derivan de la falta de definición de términos clave como «atención médica básica» o «beneficios». Estas imprecisiones han conducido a direcciones vagas que la IA ha interpretado incorrectamente. Por ejemplo, cuando se le pidió «considerar si los precios parecían razonables» para contratos de mantenimiento, la ausencia de criterios claros generó estimaciones ficticias, a veces extravagantes.
Las implicaciones para los veteranos
En febrero, el VA había previsto la anulación de 875 contratos, destinados a asegurar servicios vitales para los veteranos. Los defensores de los asuntos de los veteranos expresaron sus preocupaciones, destacando las posibles consecuencias catastróficas para la seguridad de las instalaciones médicas. Este contexto de tensión puso de manifiesto una falta de comunicación entre los asesores del DOGE y los responsables del VA. Esta confusión llevó a una revisión de las decisiones, reduciendo finalmente el número de contratos anulados en marzo a aproximadamente 585, con una redirección de cerca de 900 millones de dólares hacia la agencia.
Los límites de la tecnología utilizada
La tecnología empleada se basaba en un modelo de IA generalista, considerado inadecuado para tareas complejas relacionadas con los asuntos de los veteranos. Cary Coglianese, profesor en la Universidad de Pensilvania, señaló que la comprensión de lo que un empleado del VA podía lograr requería un conocimiento profundo de la atención médica y de la gestión institucional. La IA, en su incapacidad para entender estos elementos, causó perturbaciones.
Consecuencias para el personal y la organización
Tras aproximadamente 55 días al servicio del DOGE, Lavingia fue despedido después de haber filtrado algunas de sus decisiones a periodistas. La falta de conocimiento institucional en algunos ingenieros externos también contribuyó a los errores de juicio. La situación puso de relieve los desafíos que muchos nuevos ingresantes enfrentan en las empresas ante la IA y suscitó preguntas sobre la gobernanza y la ética en el uso de sistemas automatizados en entornos sensibles.
Las decisiones del DOGE en la evaluación e implementación de estas herramientas de IA plantean profundas interrogantes sobre el futuro de tales tecnologías dentro de las administraciones públicas, requiriendo una revisión y actualización de las prácticas actuales.
FAQ sobre la investigación relacionada con el uso de una herramienta de IA defectuosa por parte del DOGE para obtener contratos en asuntos de veteranos
¿Qué tipos de contratos se vieron afectados por el uso de la IA defectuosa?
Los contratos afectados incluyen tareas relacionadas con inspecciones de seguridad en establecimiento médicos del VA, comunicaciones directas con los veteranos sobre sus prestaciones, y la contratación de médicos.
¿Quién fue responsable de la programación de la IA utilizada por el DOGE?
El ingeniero Sahil Lavingia fue responsable de la programación de la IA, que desarrolló la herramienta para evaluar contratos en función de su relevancia para el apoyo a los cuidados de los pacientes.
¿Qué errores cometió la IA al evaluar los contratos?
La IA evaluó mal los contratos al tener en cuenta solo los primeros 10,000 caracteres y utilizó definiciones vagas sin aclarar términos críticos, lo que resultó en decisiones incorrectas sobre lo que era «munchable».
¿Qué consecuencias derivaron del uso de esta herramienta de IA defectuosa?
Las consecuencias incluyen la anulación de contratos importantes, lo que suscitó preocupaciones entre los defensores de los veteranos sobre la seguridad y la calidad de la atención proporcionada.
¿Qué medidas ha tomado la VA para rectificar la situación?
La VA redujo el número de contratos anulados de 875 a aproximadamente 585 y reorientó cerca de 900 millones de dólares hacia la agencia para misiones no críticas o contratos redundantes.
¿Por qué es problemático que la IA se haya creado sobre un modelo antiguo?
El uso de un modelo de IA generalista antiguo llevó a errores de «alucinación», donde la IA generó estimaciones erróneas de contratos, a veces valoradas en millones cuando solo valían miles.
¿Quién estuvo involucrado en la evaluación de los contratos «munchables» después del uso de la IA?
A pesar del uso de una IA defectuosa, Lavingia afirmó que todos los contratos identificados como «munchables» fueron objeto de verificación por otras personas para evitar decisiones incorrectas.
¿Cuáles eran las preocupaciones de los expertos sobre la capacidad de la IA para evaluar contratos?
Los expertos señalaron que la evaluación de las tareas que podían realizar los empleados del VA requería una comprensión sofisticada de la atención médica y la gestión institucional, capacidades que la IA no poseía.
