*人工智能*與人類認知之間的互動因其深遠的含義而引人入勝。最近的一項研究顯示，多模態大型語言模型與人類大腦在顯然相似的方式下構建物體的表徵。這一發現為感官信息處理開辟了前所未有的視角，同時闡明了人類對自然物體的感知背後的心理機制。結果表明，這些語言模型可以通過簡單的認知任務表現出類似於人類的思維結構。這種技術與認知之間的趨同挑戰著人類理解的基礎及其在人工智能領域的共鳴。
多模態大型語言模型與物體表徵的研究
來自中國科學院的研究人員最近發表了關於多模態大型語言模型（LLM）和人類大腦如何構建物體表徵的驚人結果。研究發表在自然機器智能期刊上，探討了這些模型在心理學和神經科學等領域的潛在影響。
研究目標
本研究的主要目標是理解LLM如何發展出與人類相似的物體表徵。研究者們對使用語言及多模態數據訓練的模型是否能模仿人類的認知機制提出了疑問。為此，他們分析了兩個重要模型的物體表徵是如何出現的：OpenAI 的 ChatGPT-3.5 和 Google DeepMind 的 GeminiPro Vision 1.0。
方法論與數據收集
研究人員對這些模型進行了一系列稱為三元組判斷的任務，要求它們選擇具有相似性的兩個物體。這一過程收集了470萬個判斷，隨後用以估算低維的嵌入。這些嵌入描述了1,854種自然物體之間的相似性結構，揭示了基於重要類別的表徵維度。
結果與影響
結果顯示，獲得的嵌入由66個穩定且具預測性的維度組成。這些維度顯示出與人類心理表徵一致的語義聚類。在觀察LLM的行為後，研究發現這些模型以類似於人類的方式組織物體。
與腦活動的對應關係
研究人員發現LLM的嵌入與人類腦部活動之間存在有趣的對應關係。特定的腦區，如外紋狀體區和梭狀皮層，顯示出與LLM物體表徵一致的活動模式。這提供了有力的證據，表明某些物體的表徵雖然不同，但在基礎概念知識上反映出根本相似性。
未來應用及影響
這項研究的影響範圍廣泛。LLM在發展出與人類相似的物體表徵方面的能力可能會影響更先進人工智能的創建。這些發現可能還會激勵其他研究者進一步探索LLM如何表徵物體，對基於大腦的人工智能系統的發展產生重要影響。
相關研究及討論
LLM與人類認知過程之間的交集開啟了一個引人入勝的研究領域。圍繞這一主題的討論涉及到如深偽技術、人工智能對宗教信仰的影響和複雜協作系統等領域。在LLM背景下對物體表徵的研究也可能豐富有關人工智能在社會人類各個方面整合的現有辯論。
如需更深入的觀點，請參閱有關人工智能和社會文化的相關文章：艾曼紐·馬克龍與深偽技術、人工智能對宗教信仰的影響以及人工智能在我們世界的革命。
這些發現和討論促進了對未來研究的展望，並將倫理和社會議題置於當前辯論的核心。
針對多模態大型語言模型及其物體表徵的問答
針對多模態大型語言模型中物體表徵的主要發現是什麼？
研究顯示多模態大型語言模型，如用於ChatGPT的模型，發展出與人類大腦中觀察到的物體表徵具有基本相似性的表徵，儘管存在一些差異。
多模態大型語言模型如何學習表徵物體？
多模態大型語言模型使用大量的數據庫，分析數百萬個物體的三元組判斷，以推導出捕捉物體之間相似性的數學表徵。
多模態大型語言模型的研究結果將如何影響神經科學研究？
這項研究提供了對人類的認知和感知機制的新視角，可能會促進基於大腦運作的人工智能方法的發展。
多模態大型語言模型創造的物體表徵是否可解釋？
是的，多模態大型語言模型中的物體表徵維度是可解釋的，這表明某些人類的概念表徵的某些方面也會出現在這些模型中。
多模態大型語言模型在物體分類方面如何與人類認知模型相比？
多模態大型語言模型表現出能以類似於人類的方式組織物體的能力，例如將物體分組為“動物”和“植物”等重要類別。
在這項研究中，分析物體表徵使用了哪些類型的數據？
研究人員使用了行為分析和腦成像的結合，提供了物體表徵與人類認知功能之間關係的更全面的視角。
多模態大型語言模型真的可以模仿人類的物體表徵過程嗎？
雖然多模態大型語言模型中的物體表徵與人類并不完全相同，但研究表明它們發展出類似的結構，這表明它們模仿了背後的人類過程。
哪些研究領域可能會受益於多模態大型語言模型的物體表徵發現？
這些結果可能會影響心理學、神經科學和人工智能等多個領域，增進對認知過程的理解，以及推動更先進的人工智能的發展。
