Deloitte 向澳大利亚政府退款，金额为 44万澳元的失败报告。这情况揭示了与在关键评估中使用 人工智能 相关的错误的范围。缺陷包括一些 *明显的不准确性*，部分归因于用于撰写的生成性AI。一名参议员突出了该公司特有的一个“*人类智能问题*”，引发了对咨询行业实践的质疑。企业必须重新考虑咨询公司的 *工作方式*。
Deloitte 向澳大利亚政府退款
Deloitte 宣布，因在一份价值 44万澳元的报告中发现错误，将部分退款给澳大利亚联邦政府。此决定是在咨询公司承认在文件撰写过程中整合了 生成性人工智能 之后做出的。
就业部的确认
就业与工作关系部 (DEWR) 确认 Deloitte 将会在其合同框架内退款最后一笔资金。该交易的条款将在最终确定后发布。此公告随后受到一名工党参议员的指责，他称这种情况为该咨询公司内部的“人类智能问题”。
报告审查与发现
Deloitte 负责审查目标合规框架及其自动化社会援助系统的计算机系统。最初的报告于 7 月 4 日发布，显示了 普遍问题，包括合规框架规则与其所基于的立法之间缺乏“可追踪性”。此外，该公司还发现涉及对参与者不合规的惩罚假设的“系统缺陷”。
一份修订版于周五在 DEWR 网站上重新发布。此举是由于 《澳大利亚金融评论》 在 8 月报道，指出报告中存在多处错误，包括不存在的引用和引用。悉尼大学的学者 Christopher Rudge 博士指出，报告中含有“幻觉”，即 AI 模型试图填补数据的空白或误解数据。
报告修订与影响
在更新版报告中，Deloitte 记录了对某些参考文献和脚注进行的“少量修正”。然而，DEWR 明确表示对报告中所提出的建议没有任何修改。发言人强调，初始报告的 实质内容 得到了保留，且建议保持不变。
Deloitte 还在其附录中明确表示，已将生成性人工智能的使用整合到报告的某些主要部分中。这项声明提到使用基于语言模型的工具 Azure OpenAI GPT – 4o，该工具由 DEWR 授权并托管在该部门的 Azure 基础设施上。
反应与批判思考
尽管进行了这些修订，Deloitte 仍坚持表示，人工智能并不是其报告中错误的根源。该公司为初始分析的结论辩护，指出修改并未影响报告的结果或建议。Deloitte 的发言人提到此事已与客户 直接解决。
Rudge 博士对报告的整体合法性表示保留，同时指出其结论与其他广泛支持的证据相符。参议员 Deborah O’Neill 形容这一情况为“令人震惊”，暗示人工智能似乎取代了真正的人类专业知识。此外，她的评论暗示那些考虑雇佣这些企业的客户，应提出关于非人工智能相关能力核查的问题。
《澳大利亚金融评论》的调查显示，原始报告中存在多个不正确的引用，包括悉尼大学和瑞典隆德大学教授的假研究。此外，还发现一个对一项退款案件的法院裁决的虚假引用，揭示了对使用的来源缺乏核查的问题。
此案的影响引发了对人工智能在高质量内容生产中日益增大的角色的担忧，以及保持咨询公司所提供的服务的 高标准 的必要性。在该行业中，人工智能的崛起需要对如何保护报告提供给政府和公民的完整性和准确性进行深入思考。
常见问题解答
为什么 Deloitte 向澳大利亚政府退款？
Deloitte 向澳大利亚政府退款 44万澳元 的部分款项，是由于在为就业及工作关系部制作的一份报告中发现的一系列错误。该报告使用了生成性人工智能，这导致了不准确性。
在 Deloitte 的报告中识别出了哪些错误？
该报告存在的问题包括，合规框架规则与立法之间缺乏 可追踪性，存在 系统缺陷，以及对合法来源的引用不存在。
人工智能的使用对报告产生了什么影响？
人工智能的使用导致了 幻觉 的出现，其中 AI 填补数据中的空白，造成了错误的解释和在初始报告中创造了虚假的引用。
就业部对修正后的报告采取了什么行动？
就业部确认对参考文献和脚注进行了一些 小修正，但是对报告中的建议没有修改。
Deloitte 是否承认人工智能是报告中的错误原因？
Deloitte 并没有明确将原始报告的错误归因于使用人工智能，尽管他们在修正后的报告的 附录 中添加了该使用情况的提及。
Deloitte 在其更新的报告中维护了哪些建议？
独立分析的建议维持不变；根据该部门的声明，结论的完整性没有受到影响。
如何对待像 Deloitte 这样的咨询公司产生的报告？
建议潜在客户确保报告的结果和建议基于扎实的人类专业知识，而不仅仅是基于AI系统的输出。
Deloitte 的退款可能对未来政府与咨询公司合同产生什么影响？
这一退款可能促使政府机构重新考虑对咨询公司的依赖，并积极核查这些公司中人工专业知识的情况。
