Une enquête éclaire l’utilisation d’un outil d’IA défectueux par DOGE, révélant des problématiques alarmantes dans l’attribution de contrats aux affaires des anciens combattants. Cette situation suscite des interrogations sur l’efficacité de l’intelligence artificielle dans des domaines aussi sensibles. L’IA, conçue pour optimiser les décisions, s’est heurtée à de graves défaillances et a posée des risques à la sécurité des anciens combattants.
Des contrats essentiels mis en péril à cause de décisions automatisées mal informées. Des conséquences nuisibles s’annoncent pour la qualité des soins, lorsqu’une technologie inappropriée empiète sur l’humanité. L’absence de critères clairs et de compréhension des enjeux transforme cette initiative en source de préoccupations majeures.
Un outil d’IA défectueux au sein du DOGE
Une récente enquête a mis en lumière l’utilisation d’un outil d’intelligence artificielle défectueux par le DOGE, en vue de décrocher des contrats auprès du département des affaires des anciens combattants. L’outil, conçu par l’ingénieur Sahil Lavingia, devait analyser des contrats en identifiant ceux considérés comme « munchables », c’est-à-dire superflus à la mission essentielle de l’agence.
Les décisions erronées de l’IA
Lavingia a reconnu que le système d’IA n’avait pas été conçu pour prendre de telles décisions, admettant que des erreurs ont été commises. Le code de l’IA ne se limitait qu’à un examen des premiers 10 000 caractères des contrats, ce qui a entraîné la qualification de documents cruciaux comme « munchables » sans un véritable discernement. Cette restriction a conduit à des jugements erronés sur des contrats essentiels liés à la sécurité et à la communication avec les vétérans.
Des termes flous et une méthode inappropriée
Les perceptions erronées découlent également d’un manque de définition pour des termes clés tels que « soins médicaux de base » ou « bénéfices ». Ces imprécisions ont conduit à des directions vagues que l’IA a interprétées de manière erronée. Par exemple, lorsqu’elle a été chargée de « considérer si les prix paraissaient raisonnables » pour des contrats de maintenance, l’absence de critères clairs a engendré des estimations fictives, parfois extravagantes.
Les implications pour les vétérans
En février, le VA avait prévu l’annulation de 875 contrats, destinés à garantir des services vitaux pour les vétérans. Des défenseurs des affaires des anciens combattants ont exprimé leurs préoccupations, mettant en avant les conséquences potentiellement catastrophiques pour la sécurité des installations médicales. Ce contexte de tension a mis en évidence un manque de communication entre les conseillers du DOGE et les responsables du VA. Cette confusion a conduit à une revue des décisions, réduisant finalement le nombre de contrats annulés en mars à environ 585, avec un redirection de près de 900 millions de dollars vers l’agence.
Les limites de la technologie utilisée
La technologie employée reposait sur un modèle d’IA généraliste, considéré inadapté pour des tâches complexes liées aux affaires vétérans. Cary Coglianese, professeur à l’Université de Pennsylvanie, a souligné que la compréhension de ce qui pouvait être réalisé par un employé du VA exigeait une connaissance approfondie du soin médical et de la gestion institutionnelle. L’IA, dans son incapacité à appréhender ces éléments, a causé des perturbations.
Conséquences pour le personnel et l’organisation
Après environ 55 jours au service du DOGE, Lavingia a été renvoyé après avoir divulgué certaines de ses décisions à des journalistes. L’absence de connaissance institutionnelle chez certains ingénieurs externes a également contribué aux erreurs de jugement. La situation a mis en lumière les défis rencontrés par de nombreux nouveaux arrivants dans les entreprises face à l’IA et a soulevé des questions sur la gouvernance et l’éthique de l’utilisation des systèmes automatisés dans des environnements sensibles.
Les choix du DOGE dans l’évaluation et la mise en œuvre de ces outils d’IA soulèvent des interrogations profondes sur le futur de telles technologies au sein des administrations publiques, nécessitant un réexamen et une mise à jour des pratiques actuelles.
FAQ sur l’enquête concernant l’utilisation d’un outil d’IA défectueux par DOGE pour décrocher des contrats auprès des affaires des anciens combattants
Quels types de contrats ont été affectés par l’utilisation de l’IA défectueuse ?
Les contrats affectés incluent des tâches liées à des inspections de sécurité dans les établissements médicaux de la VA, des communications directes avec les anciens combattants concernant leurs prestations, et le recrutement de médecins.
Qui était responsable de la programmation de l’IA utilisée par DOGE ?
L’ingénieur Sahil Lavingia était responsable de la programmation de l’IA, qui a développé l’outil pour évaluer des contrats en fonction de leur pertinence pour le soutien des soins aux patients.
Quelles erreurs l’IA a-t-elle commises lors de l’évaluation des contrats ?
L’IA a mal évalué les contrats en ne prenant en compte que les 10 000 premiers caractères et a utilisé des définitions vagues sans clarifier des termes critiques, ce qui a entraîné des décisions incorrectes sur ce qui était « munchable ».
Quelles conséquences ont découlé de l’utilisation de cet outil d’IA défectueux ?
Les conséquences comprennent l’annulation de contrats importants, ce qui a suscité des inquiétudes parmi les défenseurs des anciens combattants quant à la sécurité et à la qualité des soins fournis.
Quelles mesures ont été prises pour rectifier la situation par la VA ?
La VA a réduit le nombre de contrats annulés de 875 à environ 585 et a réorienté environ 900 millions de dollars vers l’agence pour des missions non critiques ou des contrats redondants.
Pourquoi est-il problématique que l’IA ait été créée sur un modèle ancien ?
L’utilisation d’un modèle d’IA de type général ancien a conduit à des erreurs de « hallucination », où l’IA a généré des estimations de contrats erronées, parfois évaluées à des millions alors qu’elles ne valaient que des milliers.
Qui était impliqué dans l’évaluation des contrats « munchables » après l’utilisation de l’IA ?
Malgré l’utilisation d’une IA défectueuse, Lavingia a affirmé que tous les contrats identifiés comme « munchables » faisaient l’objet d’une vérification par d’autres personnes pour éviter des décisions incorrectes.
Quelles étaient les préoccupations des experts concernant la capacité de l’IA à évaluer les contrats ?
Les experts ont souligné que l’évaluation des tâches pouvant être effectuées par des employés de la VA nécessitait une compréhension sophistiquée des soins médicaux et de la gestion institutionnelle, capacités que l’IA ne possédait pas.
