人工知能モデルの急速な出現、例えば ChatGPT や Gemini は、その 実際のトレーニングコスト に関する根本的な疑問を提起しています。最近の技術の進歩は、膨大な支出と懸念すべき環境への影響を伴っています。この観点からの考察は、数百万、あるいは数十億ドルに達する財務的課題の詳細な分析を必要としています。これらの資源を最適化する必要性は、革新的な技術と持続可能な実践を含めた環境的な課題に直面している中で、ますます切迫しています。
AIモデルのトレーニング：指数関数的なコスト
ChatGPT や Gemini などの人工知能モデルのトレーニングにかかる費用は、急激に増加しています。これらのモデルの最初の世代は、数百万ドルの投資を必要としていましたが、現在ではその金額は爆発的に増加し、今後のモデルでは数億ドル、あるいは数十億ドルに達しています。
Cohere の CEO であるダリオ・アモディによると、現在のトレーニングコストは1億ドルに達しています。開発中のいくつかのモデルは、10億ドルに達する可能性があります。アモディは、支出が急増し、近い将来に10億ドルから100億ドルの範囲に達することになると予測しています。
Epoch AI の研究は、人工知能モデルのトレーニングコストが驚異的なペースで上昇していることを示しています。2016年以降、これらのコストは年に 2.4倍 の割合で増加しています。この価格のインフレにより、リソースが限られた企業は競争から退場する可能性があります。
AIモデルの特定のトレーニングコスト
2023年に OpenAI によって導入された GPT-4 モデルのトレーニングコストは、1億ドルを超えるとされています。一方、Google による Gemini 1 モデルのトレーニングには、約1億9100万ドルの投資が必要だったとされています。これらの数字には、単価が3万ドルから4万ドルの GPU の取得や、クラウドインフラの費用が含まれています。
金融的影響とAIのバブル
セコイア・キャピタルのアナリストであるデビッド・カーンは、金融バブルのリスクについて警告しています。業界内の投資を均衡させるためには、大企業は年間約6000億ドルの収益を上げる必要があります。各企業が人工知能を通じて100億ドルの収益を上げた場合、5000億ドルのギャップを埋める必要があります。
巨額のコストは企業へのプレッシャーを高めており、モデルのトレーニング期間を短縮するための最適化技術を模索する必要があります。Google DeepMind によって開発された JEST メソッドは、必要な計算を最大10倍まで削減する可能性があります。
環境への影響とエネルギー消費
AIモデルのトレーニングに関する環境への影響への懸念が高まっています。エネルギー消費は非常に大きなニーズに依存しており、サーバーの過熱を防ぐための革新的な冷却ソリューションが必要とされています。フランスにあるスーパーコンピュータ Jean Zay は、水冷システムを利用しており、熱せられた水を周囲の住居に再利用しています。
さらに、水のフットプリントはしばしば過小評価されている課題です。あるアメリカの研究によると、GPT-3 に20から50の質問をすることは、サーバーの冷却のために50clのボトルに相当する水を消費します。この消費は、2027年までに40から65億立方メートルの淡水に達する可能性があり、デンマークと同程度の大規模な抽出となります。
より持続可能な取り組み
この問題に対処するために、マイクロソフトのような一部の企業は、新しいエネルギー戦略を導入しています。2024年、テクノロジーの巨人は、2028年までにデータセンターに電力を供給するために、スリーマイル島の原子力発電所を再稼働させるという契約を結びました。この決定は、マイクロソフトがCO2排出量を削減しようとしている時期に行われたため、議論を呼んでいます。
持続可能な未来のためにAIを規制する
業界の関係者は、AIモデルのトレーニングに対して持続可能な慣行を確立しようと努力しています。アトスによって革新された水冷方式は、エネルギー効率を維持しながら水の消費を制限することに貢献しています。この技術は、エネルギーコストを20から30％程度削減する可能性があります。
アメリカ合衆国の大統領ジョー・バイデンによって最近署名された法令は、研究者がリソースにアクセスしやすくすることを目的としており、AIの開発が一部の企業に集中することを避けるためのものです。AIモデルのカーボンフットプリントと水のフットプリントに関する透明性が高まることで、より責任のあるアプローチが促進される可能性があります。
エネルギー消費、ウォーターフィートプリント、コスト超過に関連する課題は、技術革新と持続可能な開発のバランスを求める中で依然として重要な問題であり、業界を必要な議論の中心に置いています。
よくある質問
ChatGPTのようなAIモデルのトレーニングコストはどのくらいですか？
ChatGPTのようなモデルのトレーニングコストは、ハードウェアとクラウドインフラのニーズにより、1億ドル以上と推定されています。
近年、AIモデルのトレーニングコストがこれほど増加した理由は何ですか？
コストの上昇は、特に高価なGPUの使用やインフラコストのインフレの影響による計算能力の増加が原因です。
Geminiのようなモデルのトレーニングに関連する環境への影響は何ですか？
Geminiのようなモデルのトレーニングは、高いエネルギー消費と懸念すべき水のフットプリントを伴い、今後数年以内に数億立方メートルの淡水に達する可能性があります。
企業はAIのトレーニングコストをどのように削減しようとしていますか？
企業は、GoogleのJESTメソッドなどの最適化技術を模索しており、必要な計算を最大10倍削減できる可能性があります。また、より効率的な冷却方法も検討しています。
AIモデルのトレーニングに含まれるコストは何ですか？
トレーニングコストには、GPUなどのハードウェアの購入、クラウドインフラに関連する費用、及びエネルギーやサーバーの冷却といったその他の運営コストが含まれます。
AI投資の周りに金融バブルはありますか？
デビッド・カーンのようなアナリストは、大企業が投資を均衡させるために相当な収益を上げる必要があることを指摘し、潜在的な金融バブルの懸念を示しています。
AIモデルのトレーニングコストは透明ですか？
多くの場合、企業はトレーニングコストを公表していないため、実際の支出の全体像を把握することが難しいです。
現在、最も高額なAIモデルはどれですか？
最近のモデルであるGPT-4やGemini 1は、トレーニングコストがそれぞれ1億ドルを超え、約1億9100万ドルに達するものとして最も高額なモデルの一つです。
AIのトレーニングのカーボンインパクトを測定できますか？
はい、研究によると、GPT-3のトレーニングは502トンのCO2を放出したとされ、AIモデルのカーボンフットプリントを考慮することの重要性が強調されています。
AIトレーニングをより持続可能にするための取り組みはありますか？
持続可能化のための取り組みには、より効率的な冷却方法に関する研究や、モデルのトレーニング時に使用されるエネルギー源を多様化する努力が含まれています。
