生成性人工智能尽管其结果令人惊叹，但暴露出令人担忧的概念缺陷。和谐的单词序列并不意味着对世界的理解。训练以重复数据的AI模型，并不拥有真正的上下文知识。它们执行复杂任务的能力，如撰写文本或编程，往往掩盖了对实际互动的错误看法。对这些工具的深入检查揭示了一个根本的问题：它们能够模拟而无法理解上下文。
令人印象深刻的表现，但显著的缺陷
基于生成性人工智能的先进语言模型展示了惊人的能力，能够生成多样的文本。它们撰写诗歌、创作文章甚至生成计算机程序的能力引发了广泛赞赏。然而，这一成就源于一个简单的功能：在序列中预测下一个单词，而没有真正的上下文理解。
最近的一项研究对这些模型学习世界一般真理的想法提出了质疑。研究人员观察到一个被广泛使用的AI模型能够为纽约提供精确的行驶指导。这个壮举是在没有正确的心智地图的情况下完成的，揭示了它在处理空间信息时的深刻不一致。
训练数据和上下文的低效
研究表明，当进行简单的更改，如关闭街道或添加绕行时，这个模型的性能会急剧下降。研究人员发现，该模型生成的纽约地图包括虚构的街道，连接遥远的交叉口，证明模型对想象的偏见而非对现实的深刻理解。
这些结果凸显了部署生成性人工智能在实际情况中所带来的根本风险。看似在固定上下文中有效的系统，在面对新的不可预见的外部变量时，可能会遇到显著的失败。
评估AI模型的步骤
研究人员专注于一种名为转换器的模型。这些模型依赖于大量的语言数据来预测句子的下一个单词。然而，在评估其类似于世界的知识时，其表现仍然不足，因为其预测的准确性不足以证明其理解。
为评估模型世界的一致性，开发了两种新指标。第一种称为序列区分，确定模型是否正确感知不同的状态，例如Othello棋盘的不同层次。第二种，序列压缩，测量模型理解相同状态呈现相同可能移动序列的能力。
意想不到的结果
令人惊讶的是，结果显示随机决策的模型似乎能够开发出更精确的世界表现。这可能与其训练过程中考虑的步骤多样性有关。实际上，生成Othello中有效指令和允许移动的模型并不一定掌握游戏规则。
即使是在导航游戏中的微小变化，也导致性能的剧烈下降。1%的街道关闭导致准确性仅下降到67%。这些模型创造的虚假景观导致地图呈现不合逻辑的布局。
AI模型在现实世界中的挑战
这种理解缺陷的含义令人担忧。这些模型可能基于错误假设执行复杂任务的想法，引发了伦理和实践上的问题。开发更适合于捕捉世界真理的模型的必要性变得迫在眉睫。
考虑转向更为多样化的问题，其中某些规则仍然部分未知，可能是一个方向。探索所提出的评估模型可能会促进更好地适应科学和实践情境。这个未来需要对人工智能理解的真实本质进行严格的思考。
这项研究的资金来自多个项目，包括哈佛数据科学项目、国家科学基金会研究生研究奖学金及其他学术合作。这一研究动态将继续质疑生成性人工智能的能力和局限。
关于生成性人工智能局限性的常见问题解答
为什么生成性人工智能对世界没有一致的理解？
生成性人工智能基于统计模型进行工作，预测基于训练数据的词序列或动作，但它实际上并不理解上下文或基本概念。它生成的回答是基于相关性而非深刻理解。
缺乏对世界理解的生成性AI涉及哪些风险？
风险包括生成不适当或错误的内容，传播虚假信息，以及基于不完善模型的决策，这在现实应用，如医学或法律中可能导致负面后果。
如何确保生成性AI的结果可靠？
确保可靠性至关重要的是将生成性AI与人工验证和定性分析结合。可以建立验证系统来检查结果并确保其相关性。
生成性AI能否从错误中学习并改善对世界的理解？
目前，生成性AI并不“理解”世界，也无法主动学习。它只能通过更新训练数据和由人类开发者重新配置其算法来提升。
在什么领域，AI对世界的理解缺乏可能引发问题？
这种理解缺乏在许多领域可能引发问题，包括医学、金融、法律和客户服务，这些领域需要根据准确数据和特定上下文做出关键决策。
尽管有局限，生成性AI能有效执行哪些类型的任务？
尽管有局限，生成性AI仍可以执行文本撰写、生成计算机代码或信息合成等任务。然而，这些任务不需要深刻的上下文理解。
如何改进生成性AI使其更好地理解世界？
改进生成性AI需要开发更复杂的算法，以整合上下文和历史数据，并进行模拟和专家评估，以纠正其理解中的缺陷。
生成性AI未来能否真正理解世界？
这一可能性在研究人员中存在争议。一些人认为 integrar更先进的技术和深度学习可能最终允许更好的理解，而其他人则认为AI将始终受到其当前算法的基本限制。
