一项调查揭示了DOGE使用有缺陷的人工智能工具的情况,暴露了在退伍军人事务合同分配中的一些令人震惊的问题。这种情况引发了人们对在如此敏感领域中人工智能的有效性的质疑。人工智能本应优化决策,但却遭遇了严重的故障,对退伍军人的安全造成了风险。
因错误的自动化决策,重要合同面临风险。当不适当的技术侵犯人性时,护理质量可能面临有害后果。缺乏明确标准和对问题的理解,使得这一倡议变成了重大关注的来源。
DOGE内部的有缺陷的人工智能工具
最近的一项调查显示,DOGE使用了一个由人工智能工程师Sahil Lavingia设计的有缺陷的工具,旨在获得退伍军人事务部的合同。该工具的目的是通过识别被视为“可消耗”的合同来分析合同,即那些对该机构的核心使命而言是多余的。
人工智能的错误决策
Lavingia承认该人工智能系统并未设计用于做出此类决策,并承认存在错误。人工智能的代码仅限于检查合同的前10,000个字符,导致将关键文件错误地归类为“可消耗”,而没有真正的判断。这一限制导致了对与安全和退伍军人沟通相关的重要合同的错误判断。
模糊的术语和不当方法
错误的认识还源于对“基础医疗”或“福利”等关键术语缺乏定义。这些不明确引导了人工智能的错误解释。例如,当它被指示“考虑价格是否合理”时,面对维护合同,缺乏明确的标准导致了虚构的估计,有时甚至是奢侈的。
对退伍军人的影响
在二月份,退伍军人事务部计划取消875个合同,以确保为退伍军人提供重要服务。退伍军人事务的倡导者们表达了他们的担忧,指出这对医疗机构的安全可能产生灾难性后果。这种紧张局势突显了DOGE顾问与退伍军人事务部负责人之间的沟通缺失。这场混乱导致了对决策的审查,最终将3月份取消的合同数量减少到约585个,并将近9亿美元的资金重新导向该机构。
所用技术的局限性
所使用的技术依赖于一种通用型人工智能模型,被认为不适合复杂的退伍军人事务。宾夕法尼亚大学的教授Cary Coglianese指出,理解退伍军人事务部雇员能够完成的任务需要对医疗护理和机构管理有深入的了解。人工智能未能掌握这些要素,造成了干扰。
对人员和组织的影响
在DOGE工作约55天后,Lavingia因向记者泄露他的某些决策而被解雇。一些外部工程师缺乏机构知识也导致了判断错误。此情况突显了许多新员工在面对人工智能时所遇到的挑战,并引发了关于自动化系统在敏感环境中使用的治理和伦理问题。
DOGE在评估和实施这些人工智能工具时的选择提出了关于公共部门未来这类技术的深刻疑问,亟需重新审视和更新现行做法。
关于DOGE使用有缺陷的人工智能工具以获得退伍军人事务合同的调查常见问题
哪些类型的合同受到了有缺陷的人工智能的影响?
受影响的合同包括与VA医疗机构的安全检查、与退伍军人直接沟通其福利的事务以及医生的招聘相关的任务。
谁负责DOGE所使用的人工智能编程?
工程师Sahil Lavingia负责人工智能的编程,他开发了该工具,以评估合同对病人护理支持的相关性。
人工智能在评估合同时犯了什么错误?
人工智能在只考虑前10,000个字符的情况下错误评估了合同,并使用模糊的定义,未澄清关键术语,导致对什么是“可消耗”的错误决策。
使用这个有缺陷的人工智能工具后产生了什么后果?
后果包括取消重要合同,这引发了退伍军人倡导者对提供的护理安全和质量的担忧。
退伍军人事务部采取了哪些措施来纠正情况?
退伍军人事务部将取消的合同数量从875减少到约585,并将大约9亿美元的资金重新导向该机构,以支持非关键任务或冗余合同。
为何使用过时模型的人工智能是一个问题?
使用一个过时的通用人工智能模型导致了“幻觉”错误,人工智能生成了错误的合同估计,有时估算价值数百万,而实际上仅值几千。
在使用人工智能后,谁参与了“可消耗”合同的评估?
尽管使用了有缺陷的人工智能,Lavingia声明所有被识别为“可消耗”的合同都经过其他人员的核查,以避免错误决策。
专家对人工智能评估合同能力的担忧是什么?
专家指出,对VA员工能够执行的任务的评估需要对医疗护理和机构管理有深刻的理解,而这些能力是人工智能所缺乏的。