过滤的数据阻止公共访问的AI模型执行危险任务,研究称

Publié le 13 8 月 2025 à 09h49
modifié le 13 8 月 2025 à 09h49

人工智能开放权重模型的出现引发了关于安全性的重要问题。最近的创新展示了一种新颖的方法来过滤数据以对抗*滥用风险*。通过先进的过滤方法,研究人员证明了*在模型训练阶段消除有害知识的可能性*。避免传播危险内容对于确保人工智能的伦理和负责任的使用变得至关重要。研究集中于构建弹性系统,能够忽略潜在威胁而不妨碍其整体性能。

开放语言模型安全的重要进展

牛津大学、EleutherAI和英国人工智能安全研究所的研究人员在保护开放权重的语言模型方面取得了显著进展。通过在训练阶段过滤潜在有害知识,这些研究人员设计了能够抵御后续恶意更新的模型。这一进展在生物威胁研究等敏感领域显得尤为宝贵。

安全性从一开始就集成

这种新方法标志着人工智能安全的一个转折点。研究人员从一开始就将保护措施融入其中,而不是事后进行安全调整。这种方法在保证模型开放性的同时减少了风险,从而实现透明与研究而不妨碍安全。

开放权重模型的核心角色

开放权重模型是协作透明的人工智能研究的基石。它们的可用性鼓励严格的测试,减少市场集中度,加速科学进步。随着Kimi-K2、GLM-4.5和gpt-oss等模型的最新发布,开放模型的能力迅速发展,已能与仅六到十二个月的封闭模型相抗衡。

开放性带来的风险

然而,模型的开放特性也带来了风险。开放模型虽然有利于积极应用,但可能被用于恶意目的。没有保护的修改文本模型已经相当普遍,而开放图像生成器现在也被用于生产非法内容。下载、修改和再分发这些模型的能力增加了对强有力的保护措施的需求,以防止操纵。

数据过滤方法论

团队设计了一个多步骤的数据过滤管道,结合了阻止关键字列表和能够检测高风险内容的机器学习分类器。这种方法成功消除了大约8%到9%的数据,同时保留了信息的丰富性和深度。人工智能模型是基于这些过滤后的数据进行训练的,展示了其在标准任务中的表现与未过滤模型相当。

对全球人工智能治理的影响

本研究的结果在全球人工智能治理的关键时刻出现。最近来自OpenAI和Anthropic等公司的多份关于人工智能安全的报告表达了对这些前沿模型可能带来的威胁的担忧。许多政府对公开可获取模型缺乏保护措施表示担忧,这些模型一旦发布便无法召回。

研究人员的结论

研究人员发现,从一开始就消除不需要的知识可以防止模型潜在地获取危险能力,即使在随后进行的训练尝试中也不会出现。这项研究表明,数据过滤可以成为帮助开发者在开源人工智能领域平衡安全与创新的强大工具。

有关这项研究的详细信息可以在最近发表于arXiv的研究论文《深度忽视:过滤预训练数据将篡改抵抗保障构建到开放权重LLMs中》中找到。

欲了解更多信息,请查看关于语言模型进展的文章:提高推理能力聊天机器人对棘手问题的回答,以及聊天机器人言论中的未经授权的变化

关于数据过滤以增强人工智能模型安全性的常见问题

在人工智能模型的背景下,什么是数据过滤?
数据过滤是指在用于训练人工智能模型的数据集中,排除某些被认为是危险或不必要的信息,以最小化恶意使用的风险。

数据过滤如何防止人工智能模型执行危险任务?
通过在训练阶段排除与生物或化学威胁相关的特定内容,开发的模型就没有能力获取可能导致有害应用的知识,即使在后续训练之后也是如此。

在训练人工智能模型时,通常过滤哪些类型的内容?
被过滤的内容包括关于病毒学、生物武器、反向基因和其他可能被利用来创建威胁的关键领域的信息。

在人工智能模型训练开始之前,进行数据过滤有多重要?
从一开始就过滤数据可以集成内在的安全机制,减少偏离的风险,同时保持人工智能模型的开放性和透明性。

过滤过的数据模型的效率与未过滤模型相比如何?
使用过滤数据的模型在标准任务上的表现相当,同时在处理与有害内容相关的挑战时效率高出十倍。

过滤过的人工智能模型是否仍然可以被用于恶意目的?
尽管数据过滤极大地减少了风险,但仍然存在恶意用户试图绕过保护措施的可能性。然而,前瞻性的过滤方法提供了强有力的防御。

这种过滤方法如何有助于全球人工智能治理?
数据过滤对于开发者和监管者来说,是一个潜在的工具,以更好地平衡人工智能创新的需求,同时采取必要的安全措施以防止滥用。

实施人工智能模型数据过滤有哪些挑战?
挑战包括需要明确定义应过滤哪些数据以及如何平衡过滤数据的删除,而不对模型的总体有效性和信息的多样性产生负面影响。

这种技术是否已经在人工智能的其他领域中使用?
这种过滤技术目前正在各个人工智能应用领域进行探索,尤其是在需要高度安全性的领域,但仍处于新兴阶段和研究阶段。

actu.iaNon classé过滤的数据阻止公共访问的AI模型执行危险任务,研究称

一些路人被一個過於誠實的人工智能廣告牌震驚

des passants ont été surpris en découvrant un panneau publicitaire généré par l’ia, dont le message étonnamment honnête a suscité de nombreuses réactions. découvrez les détails de cette campagne originale qui n’a laissé personne indifférent.

Apple 開始從德克薩斯州發運一款旗艦產品

apple débute l’expédition de son produit phare fabriqué au texas, renforçant sa présence industrielle américaine. découvrez comment cette initiative soutient l’innovation locale et la production nationale.
plongez dans les coulisses du fameux vol au louvre grâce au témoignage captivant du photographe derrière le cliché viral. entre analyse à la sherlock holmes et usage de l'intelligence artificielle, découvrez les secrets de cette image qui a fait le tour du web.

一間創新的公司,尋求擁有清晰和透明價值觀的員工

rejoignez une entreprise innovante qui recherche des employés partageant des valeurs claires et transparentes. participez à une équipe engagée où intégrité, authenticité et esprit d'innovation sont au cœur de chaque projet !

Microsoft Edge : 由 Copilot 模式所改變的瀏覽器,人工智能為您的瀏覽提供服務!

découvrez comment le mode copilot de microsoft edge révolutionne votre expérience de navigation grâce à l’intelligence artificielle : conseils personnalisés, assistance instantanée et navigation optimisée au quotidien !

欧盟:针对美国大型科技巨头的审慎监管

découvrez comment l'union européenne impose une régulation stricte et réfléchie aux grandes entreprises technologiques américaines, afin de protéger les consommateurs et d’assurer une concurrence équitable sur le marché numérique.