过滤的数据阻止公共访问的AI模型执行危险任务,研究称

Publié le 13 8 月 2025 à 09h49
modifié le 13 8 月 2025 à 09h49

人工智能开放权重模型的出现引发了关于安全性的重要问题。最近的创新展示了一种新颖的方法来过滤数据以对抗*滥用风险*。通过先进的过滤方法,研究人员证明了*在模型训练阶段消除有害知识的可能性*。避免传播危险内容对于确保人工智能的伦理和负责任的使用变得至关重要。研究集中于构建弹性系统,能够忽略潜在威胁而不妨碍其整体性能。

开放语言模型安全的重要进展

牛津大学、EleutherAI和英国人工智能安全研究所的研究人员在保护开放权重的语言模型方面取得了显著进展。通过在训练阶段过滤潜在有害知识,这些研究人员设计了能够抵御后续恶意更新的模型。这一进展在生物威胁研究等敏感领域显得尤为宝贵。

安全性从一开始就集成

这种新方法标志着人工智能安全的一个转折点。研究人员从一开始就将保护措施融入其中,而不是事后进行安全调整。这种方法在保证模型开放性的同时减少了风险,从而实现透明与研究而不妨碍安全。

开放权重模型的核心角色

开放权重模型是协作透明的人工智能研究的基石。它们的可用性鼓励严格的测试,减少市场集中度,加速科学进步。随着Kimi-K2、GLM-4.5和gpt-oss等模型的最新发布,开放模型的能力迅速发展,已能与仅六到十二个月的封闭模型相抗衡。

开放性带来的风险

然而,模型的开放特性也带来了风险。开放模型虽然有利于积极应用,但可能被用于恶意目的。没有保护的修改文本模型已经相当普遍,而开放图像生成器现在也被用于生产非法内容。下载、修改和再分发这些模型的能力增加了对强有力的保护措施的需求,以防止操纵。

数据过滤方法论

团队设计了一个多步骤的数据过滤管道,结合了阻止关键字列表和能够检测高风险内容的机器学习分类器。这种方法成功消除了大约8%到9%的数据,同时保留了信息的丰富性和深度。人工智能模型是基于这些过滤后的数据进行训练的,展示了其在标准任务中的表现与未过滤模型相当。

对全球人工智能治理的影响

本研究的结果在全球人工智能治理的关键时刻出现。最近来自OpenAI和Anthropic等公司的多份关于人工智能安全的报告表达了对这些前沿模型可能带来的威胁的担忧。许多政府对公开可获取模型缺乏保护措施表示担忧,这些模型一旦发布便无法召回。

研究人员的结论

研究人员发现,从一开始就消除不需要的知识可以防止模型潜在地获取危险能力,即使在随后进行的训练尝试中也不会出现。这项研究表明,数据过滤可以成为帮助开发者在开源人工智能领域平衡安全与创新的强大工具。

有关这项研究的详细信息可以在最近发表于arXiv的研究论文《深度忽视:过滤预训练数据将篡改抵抗保障构建到开放权重LLMs中》中找到。

欲了解更多信息,请查看关于语言模型进展的文章:提高推理能力聊天机器人对棘手问题的回答,以及聊天机器人言论中的未经授权的变化

关于数据过滤以增强人工智能模型安全性的常见问题

在人工智能模型的背景下,什么是数据过滤?
数据过滤是指在用于训练人工智能模型的数据集中,排除某些被认为是危险或不必要的信息,以最小化恶意使用的风险。

数据过滤如何防止人工智能模型执行危险任务?
通过在训练阶段排除与生物或化学威胁相关的特定内容,开发的模型就没有能力获取可能导致有害应用的知识,即使在后续训练之后也是如此。

在训练人工智能模型时,通常过滤哪些类型的内容?
被过滤的内容包括关于病毒学、生物武器、反向基因和其他可能被利用来创建威胁的关键领域的信息。

在人工智能模型训练开始之前,进行数据过滤有多重要?
从一开始就过滤数据可以集成内在的安全机制,减少偏离的风险,同时保持人工智能模型的开放性和透明性。

过滤过的数据模型的效率与未过滤模型相比如何?
使用过滤数据的模型在标准任务上的表现相当,同时在处理与有害内容相关的挑战时效率高出十倍。

过滤过的人工智能模型是否仍然可以被用于恶意目的?
尽管数据过滤极大地减少了风险,但仍然存在恶意用户试图绕过保护措施的可能性。然而,前瞻性的过滤方法提供了强有力的防御。

这种过滤方法如何有助于全球人工智能治理?
数据过滤对于开发者和监管者来说,是一个潜在的工具,以更好地平衡人工智能创新的需求,同时采取必要的安全措施以防止滥用。

实施人工智能模型数据过滤有哪些挑战?
挑战包括需要明确定义应过滤哪些数据以及如何平衡过滤数据的删除,而不对模型的总体有效性和信息的多样性产生负面影响。

这种技术是否已经在人工智能的其他领域中使用?
这种过滤技术目前正在各个人工智能应用领域进行探索,尤其是在需要高度安全性的领域,但仍处于新兴阶段和研究阶段。

actu.iaNon classé过滤的数据阻止公共访问的AI模型执行危险任务,研究称

别担心,这是一场积极的灾难!

découvrez pourquoi cette 'catastrophe' est en réalité une excellente nouvelle. un retournement de situation positif qui va vous surprendre et transformer votre point de vue !

亚马逊旨在通过人工智能重新恢复一部奥逊·威尔斯传奇电影的失落结尾

découvrez comment amazon utilise l'intelligence artificielle pour recréer la conclusion disparue d'un film légendaire d'orson welles, offrant ainsi une seconde vie à une œuvre cinématographique emblématique.

人工智能与环境:企业应对能源困境的策略

découvrez comment les entreprises peuvent allier intelligence artificielle et respect de l’environnement grâce à des stratégies innovantes pour relever le défi énergétique, réduire leur impact écologique et optimiser leur performance durable.

生成性人工智能:97%的企业难以证明其对商业表现的影响

découvrez pourquoi 97 % des entreprises peinent à prouver l’impact de l’ia générative sur leur performance commerciale et ce que cela signifie pour leur stratégie et leur compétitivité.

當代的失落感:當現實似乎在我們腳下消失

explorez la désillusion contemporaine et découvrez comment, face à l'incertitude, la réalité semble se dérober sous nos pas. analyse profonde des sentiments d'instabilité et de quête de sens dans le monde moderne.

一种利用合成频域的模拟计算平台,以提高可扩展性

découvrez une plateforme innovante de calcul analogique utilisant le domaine de fréquence synthétique afin d’augmenter la scalabilité, optimiser les performances et répondre aux besoins des applications intensives.