ChatGPTは言語生成を再発明します。この技術的進歩は、人間の心の働きと類似した機能を明らかにします。研究は、人工知能が文法規則に限定されないことを示しており、集められた例や記憶に基づいて、未曾有の類推的アプローチを具現化しています。
深い分析に基づくこの発見は、言語モデルの学習に関する伝統的な認識を問い直します。データが厳密に学習された規則から派生するという仮説は、人間の経験と切り離せない類推的推論の明白さの前に崩れ去ります。この精神において、このダイナミクスが人工知能の発展に与える深い意味を理解することが基本です。
研究の中心的な仮説
オックスフォード大学とアレンAI研究所の科学者たちが主導した最近の研究により、ChatGPTのような大規模な言語モデルは、人間と同様に言語パターンを例に基づいて一般化することが明らかになりました。これにより、これらのモデルが主に訓練データから規則を推測によって学ぶという一般的な考えが問い直されます。
革新的な形容詞を使った実験
研究者たちは、人間の判断とGPT-Jというオープンソースの言語モデルの予測を比較しました。彼らは、形容詞から名詞に変換する際に一般的な英語の単語形成パターンを使用し、接尾辞「-ness」や「-ity」を用いました。例えば、「happy」は「happiness」に変わります。この実験には、「cormasive」のような200の架空の形容詞の創造も含まれました。
類推と記憶
結果は、GPT-Jが実際に訓練データで出会った単語との類似性に基づく類推を使用していることを示しました。規則を適用するのではなく、類推に基づいて回答を生成します。例えば、「friquish」は「friquishness」に変換されますが、これはこの接尾辞が「selfish」のような単語を連想させるためです。一方、「cormasive」については、知られた単語のペアからの影響を受けています。
訓練データ内の出現頻度の影響
この研究はまた、訓練データにおける単語の形の出現頻度の影響を明らかにしました。LLMの応答は、約50,000の英語の形容詞について調査されました。モデルの予測は訓練データの統計的パターンと一致し、驚くべき精度を示しました。LLMは、学習中に出会った各単語の例を記憶しているようでした。
人間と言語モデルの違い
人間は、重要なすべての単語の形を統合した豊かなメンタル・辞書を持ち、頻度に限定されません。「friquish」と「cormasive」が英語の単語でないことを認識しています。これらの新造語に対処するため、既知の単語のバンクに基づく類推を行います。
LLMの特徴
それに対して、LLMは訓練データ内の特定の単語のインスタンスに直接依存して応答を生成し、メンタルな辞書内に統一されたエントリを作成しません。これらのモデルのアプローチはより rigid であり、抽象的な思考ではなく具体的な例の繰り返しに集中しています。
AIの未来に対する含意
著者の一人であるジャネット・ピエレハンバートは、LLMが技巧的に応答できる一方で、人間的な抽象性が欠如していることを指摘しました。この制限が、言語学習において人工知能が人間よりもはるかに多くのデータの量を必要とする理由ではないかと考えられます。
学際的な協力
共著者のバレンティン・ホフマン博士は、言語学とAIの相乗効果の重要性を強調しました。この結果は、LLMによる言語生成についての深い見通しを提供し、堅牢かつ効率的で説明可能なAIへの進展を促進します。
このプロジェクトには、LMUミュンヘンやカーネギーメロン大学などの著名な機関の研究者も関与しています。
最近のAI技術の進展についての最新情報は、Google Gemini、NVIDIA、LLMのトレーニング、人工知能、およびAIツールに関する関連記事をご覧ください。
ChatGPTに関する一般的な質問：例と記憶を重視する言語生成ツール
ChatGPTはどのようにして人間に似たフレーズを生成するのですか？
ChatGPTは、厳密に文法規則に従うのではなく、記憶された例に基づく類推を使用します。これにより、学習データで出会った単語との類似性に基づいてフレーズを生成することができます。
ChatGPTは未知の単語を理解するためにどのような方法を使用しますか？
ChatGPTが未知の単語に出会うと、記憶された類似の例と照らし合わせることで、その単語の文中での正しい形を特定するのに役立ちます。
例がChatGPTにとって規則よりも重要なのはなぜですか？
例は、ヒトのようにより直感的かつ適応的に学習することを可能にします。これにより、単語やフレーズをよりよく生成することができ、その一方で多様で豊富なデータにアクセスする必要があるという制約も受けます。
単語の頻度はChatGPTの応答にどのように影響しますか？
ChatGPTが学習データで最も頻繁に出会う単語や表現は、その応答により強い影響を与えます。つまり、あまり頻繁に見ない単語よりも、これらの言葉を使用したフレーズを生成する可能性が高くなります。
人間とChatGPTの類推形成の違いは何ですか？
人間は意味のある単語のメンタル・ベースから類推を形成しますが、ChatGPTは訓練データセットの具体的な例に基づいて類推を生成し、統一されたメンタル・辞書を形成しません。
ChatGPTは未経験の主題に関する質問に回答できますか？
ChatGPTは新しいテーマに関する情報を処理できますが、関連する応答を提供する能力は、訓練中に提供された例に基づく理解に大きく依存します。
ChatGPTの言語生成能力は向上しますか？
はい、ChatGPTの性能は、多様で追加の学習データを取り入れることで向上し、類推スキルを使ってより良い分析と応答生成が可能になります。
