DOGEによる不良なAIツールの使用を照らし出す調査が行われ、退役軍人のビジネスにおける契約割り当てにおける警戒すべき問題が明らかになりました。この状況は、こうした敏感な分野における人工知能の効果について疑問を呈しています。最適な判断を下すために設計されたAIは、深刻な障害に直面し、退役軍人の安全にリスクをもたらしました。
情報に基づかない自動化された決定によって危険にさらされる重要な契約。技術が人間性を侵害する際、ケアの質に悪影響が出ることが予測されます。明確な基準が欠如し、問題の理解が不十分なことで、この取り組みは重大な懸念の源となっています。
DOGE内の不良なAIツール
最近の調査では、退役軍人問題省との契約を獲得するために、DOGEによって不良な人工知能ツールが使用されていることが明らかになりました。このツールはエンジニアのサヒル・ラヴィンギアによって設計され、重要な任務から「不要」と見なされる契約を特定するために契約を分析することを目的としていました。
AIの誤った決定
ラヴィンギアは、AIシステムがそのような決定を下すために設計されていなかったことを認め、誤りが犯されたと認めました。AIのコードは契約の最初の10,000文字の検討に限られており、本当に重要な文書を「不要」とする判断ミスを引き起こしました。この制限により、セキュリティや退役軍人とのコミュニケーションに関連する重要な契約について誤った判断が行われました。
あいまいな用語と不適切な方法
誤解を招く認識は「基本的医療」や「給付」といった重要な用語の定義が欠如していることにも起因しています。これらの不明瞭さは、AIが誤って解釈したあいまいな指針を引き起こしました。例えば、契約保守のために「価格が妥当かどうかを考慮するように」という指示を受けると、明確な基準がなかったため、時には常軌を逸した見積もりが生じました。
退役軍人への影響
2月、VAは退役軍人に重要なサービスを保証するために875件の契約をキャンセルする計画を立てました。退役軍人の問題を擁護する人々は懸念を表明し、医療施設の安全性に対する潜在的に壊滅的な影響を指摘しました。この緊張状態は、DOGEの顧問とVAの責任者との間のコミュニケーションの不足を明らかにしました。この混乱により、最終的に3月にキャンセルされた契約数は約585件に減少し、約900百万ドルが機関に再調整されました。
使用された技術の限界
使用された技術は、退役軍人問題に関する複雑なタスクには不適切と見なされる一般的なAIモデルに基づいていました。ペンシルベニア大学の教授キャリー・コグリアネーゼは、VAの職員が何を行うことができるかを理解するには、医療ケアと機関管理に関する深い知識が必要であることを強調しました。AIはこれらの要素を理解できないため、混乱を引き起こしました。
職員と組織への影響
DOGEで約55日間勤務した後、ラヴィンギアは自らの決定をジャーナリストに漏らした後に解雇されました。また、一部の外部エンジニアの間での組織知識の欠如も判断ミスに寄与しました。この状況は、AIを利用する企業に新たに入社した多くの人々が直面する課題を浮き彫りにし、感受性の高い環境での自動化システムの使用に関するガバナンスと倫理についての疑問を引き起こしました。
DOGEによるこれらのAIツールの評価と実施に関する選択は、公的機関におけるこのような技術の未来について深刻な疑問を投げかけ、現在の実践の再検討と更新を必要としています。
DOGEによる不良なAIツールの使用に関する調査に関するFAQ
不良なAIを使用したことで影響を受けた契約の種類は？
影響を受けた契約には、VAの医療施設での安全点検に関連する業務、退役軍人への給付に関する直接的なコミュニケーション、および医師の採用などが含まれています。
DOGEによって使用されたAIのプログラミングに責任を持っていたのは誰ですか？
エンジニアのサヒル・ラヴィンギアがAIのプログラミングを担当し、患者ケアの支援に必要な契約を評価するツールを開発しました。
AIが契約評価で犯した誤りは何ですか？
AIは契約の最初の10,000文字のみを考慮し、重要な用語を明確にせずにあいまいな定義を使用したため、「不要」とされるものに対する誤った決定を下しました。
この不良なAIツールの使用からどのような結果がもたらされたか？
結果として重要な契約がキャンセルされ、退役軍人の保護者間で提供されるケアの安全性と質に対する懸念が生じました。
VAによって状況を是正するために取られた措置は何ですか？
VAはキャンセルされた契約の数を875から約585に減少させ、約900百万ドルを重要性の低い任務や冗長な契約のためにエージェンシーに再調整しました。
古いモデルでAIが構築されることが問題なのはなぜですか？
古い一般的なAIモデルの使用は、「幻覚」の誤りを引き起こし、AIが何百万ドルにも上る契約見積もりを生成したが、実際には数千ドルに過ぎなかった問題を引き起こしました。
AIの使用後「不要」とされた契約の評価には誰が関与したのですか？
不良なAIを使用したにもかかわらず、ラヴィンギアは「不要」とされた契約はすべて他の人によって検証されたと主張して、不正確な決定を避けました。
専門家はAIが契約を評価する能力についてどのような懸念を示しましたか？
専門家は、VAの職員によって実行可能なタスクの評価には医療ケアと機関管理に対する高度な理解が必要であり、そのような能力をAIは持たないことを指摘しました。
