人工智能的规模法则超越了简单的数学。这种分析工具使研究人员能够通过依赖更小的模型来预测准确的性能。通过这些方法论的应用，语言模型开发中的不确定性逐渐消退。
计算预算的优化成为一种优先事务，因为训练成本达到了令人眩晕的高度。与架构和数据集相关的决策也应当经过深思熟虑。对小型模型性能的细致研究为其更大型、雄心勃勃的同类设定了期望。这些动态都反映在最大化预测可靠性的追求中，同时优化资源配置。
人工智能的规模法则
开发大型语言模型 (LLMs) 对研究人员而言是一项巨大的财务投资。有关架构、优化器和训练数据集的决策需要特别谨慎，因为每次训练的费用可能高达数百万美元。
模型性能的预测
研究人员通常依赖规模法则来预测大型模型的质量和准确性。通过使用更小和成本更低的模型来接近目标大型模型的性能，研究团队避免了必须对每个候选者进行没有回报的训练。
麻省理工学院的近期研究
最近一项由麻省理工学院及MIT-IBM沃森人工智能实验室的研究人员进行的研究，旨在通过制定一个庞大的模型和度量集合来解决这一问题。这一数据库使得通过评估性能和成本来接近超过一千条规模法则成为可能。这项进展弥补了在这个被忽视领域系统分析的缺失。
麻省理工学院的副教授雅各布·安德里亚斯指出，以前的努力往往集中在训练后的反思上，而未曾考虑在大型模型训练过程中如何做出优良的决策。
性能外推
开发LLMs涉及巨额间接成本，涉及对参数、数据选择和训练技术的战略性决策。规模法则有助于将大型模型的损失与更小模型的性能进行关联，从而促进资源分配选择的优化。
小型模型之间的差异主要基于参数数量和训练数据的大小。澄清规模法则使该领域更具民主性，使资源不足的研究人员能够构建有效的规模法则。
构建庞大的数据集
研究人员已经建立了一个综合数据集，汇集了来自40个模型家族的LLMs，包括Pythia、OPT、OLMO和LLaMA。共收集了485个独特的预训练模型，并提供有关检查点、计算成本及损失和下游任务情况的度量信息。
这一工作使得对超过1000条规模法则进行了调整，并通过多种架构和训练模式验证了其准确性。研究人员强调，包含部分训练的模型可提高预测的可靠性。
提升预测的因素
某些因素会影响结果的准确性，例如使用中间检查点，而不是仅凭最终损失。充分训练前的数据，通常存在噪声，需排除在分析之外。
研究表明，五个不同规模的模型集合为建立稳健的规模法则提供了良好的出发点。
超参数的相关性
研究还探讨了某些超参数之间的强相关性，这使得有效捕捉模型行为成为可能。利用这些观察结果可以帮助标准化估计，使这一过程变得更为便捷。
这项研究中的发现表明，即使是部分训练的小模型依然保持预测潜力。完训模型的中间步骤也可以用来预测另一个目标模型的性能。
研究的一个新维度关注于模型的推理。安德里亚斯预测将会有重大发现：更好地理解模型在执行请求时的演变将有助于优化反应时间及满足用户需求。
未来的影响
这一研究所获得的知识在优化LLMs的方式上代表了一个转折点。它使得在资源往往有限的环境中做出明智决策变得更为可行。这些见解丰富了人工智能的景观，打开了新的探索和创新途径。
欲了解更多，与其他AI趋势相关的文章揭示了显著的进展，例如唐纳德·特朗普针对性别深伪和报复色情的立法，以及人工智能在数据保护方面的创新。像增田义夫所提出的人工智能枢纽这样的大型人工智能项目在行业中也引起了广泛关注。
关于人工智能规模法则的常见问题
人工智能中的规模法则是什么？
规模法则是一些原则，允许根据模型的特性（如参数数量和训练数据的规模）预测语言模型的性能。它们帮助估计一个较小模型如何能够提供大得多模型性能的指示。
规模法则如何降低语言模型开发的成本？
通过使用较小的模型来估算较大模型的性能，开发者可以避免因为完全训练每个模型而产生的高成本，从而节省大量计算资源费用。
影响规模法则准确性的因素有哪些？
规模法则的准确性受诸多因素影响，例如参数数量、训练数据集的规模，以及中间检查点的使用。包含这些因素可以改善大模型性能的估计。
在规模法则的应用中，比较不同语言模型的重要性何在？
比较不同模型可以理解一般趋势以及影响性能的因素，这帮助精炼规模法则，并在开发新模型时做出明智选择。
使用规模法则对AI研究人员的主要好处是什么？
主要好处包括能够更可靠地预测性能、优化资源分配，以及获得关于模型构建的知识，无需进行大量基础设施投资。
研究人员如何提高他们的规模法则估计效率？
研究人员可以通过训练多种规模的模型并战略性地使用训练数据，尤其是排除被认为嘈杂的某些训练数据并整合中间检查点，从而提高效率。
小型语言模型能否有效预测更大模型的性能？
是的，研究表明，设计良好的小型模型能够提供有关大型模型性能的宝贵指示，从而使得预测更为可靠。
数据处理在使用规模法则时扮演什么角色？
数据处理至关重要，因为质量不佳的训练数据可能导致规模法则预测中的错误。确保坚实的数据基础对于获得可靠的结果是必不可少的。
规模法则如何惠及资源有限的研究人员？
规模法则使语言模型研究的领域变得更加开放，使预算有限的研究人员能够通过基于小型模型的方法进行相关分析，而无需大量资金。
使用规模法则时预期的准确性是多少？
在语言模型性能估计中准确度可以达到4%的绝对相对误差 (ARE)，这被认为是在决策时可接受的，而高达20%的ARE在某些情况中依然是有用的。
