人工智能模型在理解简单文本方面难以匹敌人类的理解能力。*最近的研究揭示了显著的缺陷*，显示它们在解读句子潜在意义方面的效率有限。*虽然这些系统旨在处理信息*，但它们捕捉细微差别的能力仍然有限。结果表明，人类的语言理解能力明显优于算法。*这一差距凸显了将人工智能集成到超越简单查询的背景中的基本问题*。
国际研究的结果
罗维拉·伊·维吉利大学（URV）的研究团队最近揭示了七种人工智能（AI）模型在语言理解方面的表现。尽管这些模型在特定任务中取得了一些成功，但在理解简单文本的效率上仍然不足，相较于人类的表现而言。
语言理解的测量
在这项研究中，科学家们向七种人工智能模型提交了四十个使用基本语法结构和常用动词的问题。这些模型包括Bard、ChatGPT-3.5、ChatGPT-4、Falcon、Gemini、Llama2和Mixtral。同时，一个由四百名以英语为母语的人组成的小组回答了相同的问题，从而允许对结果进行全面的比较。
人工智能与人类之间的准确性差异
分析显示，回答的准确性存在显著差异。人类的平均准确率达到89%，远超最佳人工智能模型ChatGPT-4的83%。其他模型则远远落后，没有超过70%的成功率。这些结果表明，模型处理复杂任务的能力并不保证其对更简单任务的掌握。
大型语言模型的性质
大型语言模型（LLMs）是神经网络，它们根据用户的请求生成文本。它们的优势在于生成回答或翻译等任务，但一个根本性的弱点困扰着它们：其方法依赖于利用统计模型，而非对语言的真正理解。URV的研究者维托里亚·登特拉提出了这一观点：“LLMs并不真正理解语言，它们只是利用学习数据中的统计模式。”
缺乏理解的后果
语言模型在提供连贯回答方面遇到了显著困难，特别是在面对重复问题时。在研究中，人类回答的连贯性达87%，而人工智能模型则在66%到83%之间波动。这种在提问时维持一致性的能力的缺乏，突显了当前文本理解技术的基本局限。
缺乏语境理解
LLMs在理解意义方面无法做到像人类那样地理解。人类的理解依赖于语义、语法、语用和语境等因素。模型通过识别与先前分析的示例相似的内容来运作，而不是真正理解其隐含意义。因此，它们表面上的人性只不过是基于预测算法的幻觉。
大型语言模型的有问题应用
这项研究对人工智能在关键应用中的可靠性提出了质疑。登特拉的发现提醒我们，执行复杂任务的能力并不意味着在简单互动中的掌握，后者往往需要对语言的真正理解。这些局限妨碍了人工智能在对精度和理解至关重要的领域的应用。
研究结论
在语言理解方面完善模型的必要性显而易见。研究人员强调了继续在这一领域迈进的重要性，以增强基础人工智能的效率和可靠性。认识到这些技术的局限性是推动其未来改进的第一步。
关于人工智能语言局限性的常见问题
人工智能模型在理解人类语言方面面临的主要挑战是什么？
尽管人工智能取得了进展，模型仍然难以理解语言的细微复杂性、文化背景和语义细节，这使得它们无法在理解简单文本时与人类竞争。
为什么像ChatGPT这样的语言模型无法像人类一样理解单词的意义？
这些模型只是在训练数据中识别到统计模式，而不是解读这些单词背后的意义。它们没有意识或经历，无法像人类那样以语境理解语言。
人工智能模型的性能与人类在简单文本理解测试中的表现相比如何？
研究表明，人类的平均准确率达到89%，而即便是表现最好的人工智能模型通常在类似测试中也无法超过83%的准确率。
尽管存在局限，语言模型能否用于关键应用？
不能，它们无法理解语言的意义和语境，这让人们对它们在真正理解至关重要的应用中的可靠性产生了担忧。
在理解方面，人工智能模型成功于哪些任务而超过人类，尽管缺乏理解？
人工智能模型在基于固定规则的任务中表现出色，比如文本生成、机器翻译或简单问题解决，尤其是在不需要创造力或解读的任务中。
在人工智能模型中，“回答不一致性”是什么意思？
指的是人工智能在面对重复问题时的回答准确性变化。相比之下，人类保持回答的稳定性更高。
人工智能模型是否能够处理包含讽刺或隐喻的文本？
不，语言模型仍然在理解复杂语言结构如讽刺或隐喻方面存在困难，这限制了它们抓住隐含意义的能力。
关于人工智能语言理解局限性的最近研究有哪些？
国际团队进行的研究，特别是由罗维拉·伊·维吉利大学领导的研究，分析了这些局限性，并强调人工智能未达到人类的语言理解水平。
与人工智能模型相比，真实人类在理解简单文本时更有效的原因是什么？
人类运用语义、语法和语境的知识组合，使他们能够以更直观和适当的方式解释和回应文本。
为了改善人工智能模型的语言理解，在进行哪些努力？
研究仍在探索诸如教授语境理解或整合新的神经网络架构等方法，以提高它们抓住意义的能力。
