优化大型语言模型（LLM）的训练是人工智能研究人员面临的一个重要挑战。建立可伸缩性法则对于根据较小模型预测大型模型的性能至关重要。巧妙管理计算和财务预算是必需的，以避免通常不可承受的指数级支出。
架构选择、优化技术和数据集的选择直接影响训练的成功。研究人员必须在雄心与有限资源之间巧妙导航，同时考虑到该领域的快速变化。可伸缩性法则帮助解读这些复杂问题，并指导人工智能项目的方向，以实现更有效的解决方案。
人工智能的预算优化
在开发大型语言模型（LLM）时，建立可伸缩性法则至关重要。研究人员希望在严格的预算限制下最大化效率。与架构、优化器和训练数据集相关的每一个决定都会直接影响财务成本。由于培训一个模型需要数百万美元，因此做出明智的选择至关重要。
可伸缩性法则的作用
可伸缩性法则提供了一种方法，通过将大型语言模型的损失与较小模型的损失相联系，来预测语言模型的行为。这种方法避免了对每个潜在候选者进行全面训练的必要性。因此，这种方法可以提供准确的预测，特别是当模型之间的小差异集中在参数数量和标记大小时。
全面的数据集
麻省理工学院及麻省理工-IBM沃森人工智能实验室的研究人员建立了一个重要的数据集。这个集合包括来自40个不同家族的超过485个预训练模型。研究人员分析了计算成本、训练轮次和190万个绩效指标。借助这些数据，他们能够建模超过一千条可伸缩性法则。
预测的准确性
可伸缩性法则基于简单模型，整合参数数量和训练输入。模型之间的差异使得能够有效估计目标模型的性能下降。研究团队因此可以有效评估权衡。这项技术还允许对不同的预训练集进行A/B测试。
训练过程的优化
该研究的建议是系统性的，旨在提高可伸缩性法则的可靠性。需要设定计算预算和目标准确性。4%的绝对相对误差（ARE）精度是可实现的，尽管高达20%的误差范围同样在决策过程中有用。引入中间检查点显著提高了可伸缩性法则的可靠性。
适应性预测系统
使用更大模型进行预测的优势显著。然而，将目标模型训练到数据集的30%可以产生节省。开发人员应该考虑训练同一家族中的一些小型模型，以利用可伸缩性法则所需的参数。这种方法在相似架构的背景下可能会带来好处。
模型的变异性和行为
所观察到的模型的变异性以及不同实验之间的变异性远比预期重要。研究人员发现，可伸缩性法则也可以根据较大的模型来预测较小模型的性能。这个发现质疑了小模型具有根本不同的行为这一观点。
推理分析的未来
研究的作者考虑将分析扩展至模型的推理时间。理解随着推理时间延长，模型性能如何提高是至关重要的。这项研究可能导致开发与重新激活效率相关的有意义的预测模型，强调这些新方法的必要性。
目前的研究是在麻省理工-IBM沃森人工智能实验室的支持下进行的。在这一领域的进展将有助于建立与负责任使用人工智能模型相关的更明确的规则，同时最大化预算效率。例如，人工智能项目面临的挑战显著，如在各种文章中讨论的那样，例如这篇文章，以及关于面对人工智能进步时数字主权的重要性，如这里所提到的https://actu.ai/la-souverainete-numerique-face-a-lia-explorer-une-alternative-entre-migration-totale-et-immobilisme-61376.html。
关于建立人工智能可伸缩性法则的常见问题
可伸缩性法则在LLM的背景下是如何工作的？
可伸缩性法则通过基于损失和性能指标，将大型语言模型的性能与较小模型的性能联系起来，从而预测行为，而无需每次进行完整的训练。
在估算LLM的可伸缩性法则时，必须考虑哪些因素？
必须考虑参数数量、训练时的标记数量以及模型在感兴趣模型家族中的基础性能。
可伸缩性法则如何帮助最大化LLM的训练预算？
通过有效评估不同模型架构之间的权衡，并帮助选择合适的训练配置，可伸缩性法则能够优化可用资源的使用。
中间检查点在建立可伸缩性法则中的重要性是什么？
引入中间检查点可以提高预测的可靠性，因为它们在完成训练之前提供了更多关于模型性能的数据。
在收集数据以建立可伸缩性法则时应包括哪些类型的模型？
建议包含同一系列中的多个模型，通过变更大小来确保预测的稳健性，避免只限于单一模型或架构。
模型的大小如何影响可伸缩性预测？
通常而言，更大的模型倾向于提供更准确的预测，但这也可能增加额外成本，因此找到模型大小与训练成本之间的最佳平衡至关重要。
如果训练预算严重受限该怎么办？
在这种情况下，考虑在目标模型系列中训练较小的模型，并使用类似模型系列的可伸缩性法则参数以获得更好的估计。
通过使用可伸缩性法则，可以期望达到什么精度？
目标的绝对相对误差（ARE）为4%被认为是最佳的，但高达20%也足以用于做出重要的决策。
在训练阶段10万亿标记之前，数据如何影响结果？
非常早期的训练数据通常是噪声较大且可能降低准确性，因此建议将其排除，以获得更可靠的结果。
