训练LLM自我排毒其语言

大型语言模型（LLMs）塑造了我们与现代语言的互动。对精确沟通日益增长的需求引发了关于其生成内容中可能出现的语言毒性的质疑。这些模型虽然复杂，却需要内部监管以维护文化和伦理的完整性。创新的方法被称为 *自我纪律自回归采样*（SASA）应运而生，成为*中和负面偏见*的有希望的解决方案。SASA在词汇子空间之间游走，期望引导这些模型走向伦理合规，同时保持其语言流畅性。

语言模型的自我去毒化

对大型语言模型（LLM）的研究正在加速，突显出减轻其输出中毒性的新方法。麻省理工学院-IBM沃森人工智能实验室介绍了一种名为自我纪律自回归采样（SASA）的策略，使LLM能够在保持其流畅性的同时，调节自己的语言。这一进展回应了对创造尊重伦理和社会文化价值的文本生成器的日益需求。

LLM中的数据和偏见

大多数LLM是基于公共数据进行训练的，这些数据通常过度暴露于不当内容，例如侮辱或仇恨言论。这些偏见甚至可能出现在看似无害的上下文中，这引发了对数字时代语言技术责任的担忧。这类内容的累积损害了人类交流的完整性。

SASA的机制

SASA引入了一种解码算法，在LLM的内部表示中区分出有毒和无毒的子空间。该系统不修改现有模型的参数，从而避免了重新训练或依赖外部奖励模型的需求。在推理阶段，SASA根据每个已接受单词以及潜在新单词评估部分生成句子的毒性值。

输出评估

每个单词随后根据其与分类边界的接近程度进行选择，从而保持生成语言的毒性较低。该方法通过调整新潜在单词的采样概率来发挥作用，偏好位于无毒区域的单词。因此，每次生成应该反映在处理过程中采纳的人类价值。

验证实验结果

研究人员在多个LLM上测试了SASA，包括GPT2-Large和Llama2-7b，通过向它们提交需要在25次迭代中完成的句子。一种如PerspectiveAPI的评分系统用于评估生成句子的毒性水平。结果显示，毒性句子的显著减少，同时保持了可接受的流畅性水平。

对语言公平性的影响

SASA在减轻性别偏见方面显示出良好的结果，与女性相关的提示产生的有害应答明显减少。这一现象表明，它能够在保持真实对话所需的细微差别的同时平衡语言生产。测试还包括独特的数据集，例如BOLD，以评估该方法的一般适用性。

走向多重人类价值

研究人员考虑将SASA应用于其他人类价值，如真理和实用性。SASA的灵活性使其能够简单适应各种属性，通过检查生成文本在多个子空间中的位置。这种方法可能改变LLM整合伦理标准的方式，使其更符合社会期望。

关于LLM自我去毒化语言训练的常见问题

什么是大型语言模型（LLM）？
大型语言模型（LLM）是一种人工智能，能够基于大量训练数据生成文本，这些数据通常来自公共来源，并用于各种自然语言生成应用。

LLM在回答中如何产生毒性？
LLM可能因训练数据集中的偏见而生成有毒语言，包括粗俗词汇、刻板印象或歧视性陈述，即便是在回应无害请求时。

SASA去除LLM输出毒性的办法是什么？
SASA，或自我纪律自回归采样，是一种方法，使LLM能够选择毒性较低的单词，同时保持生成文本的流畅性，通过根据单词在句子中的上下文评估其毒性。

SASA的单词选择过程如何运作？
SASA的过程涉及评估每个生成的单词与有毒和无毒语言空间之间定义的边界之间的接近程度，从而调整采样概率，优先选择较少问题的选项。

使用SASA方法对生成语言流畅性的影响是什么？
尽管SASA成功减少了生成有毒语言的情况，但观察到一种趋势：当模型必须避免被认为有毒或不当的单词时，语言流畅性可能会受到影响。

SASA方法与传统的LLM去毒化方法有何不同？
与传统方法通常需要额外训练或使用外部奖励模型不同，SASA在推理过程中通过调整单词选择过程进行工作，而不改变模型参数，这使其更高效、成本更低。

可以使用哪些类型的数据评估LLM生成回答的毒性？
可以使用标注过的数据集，其中包含毒性标签从0（无毒）到1（有毒）的句子样本，用于训练分类器以评估LLM生成的语言。

SASA可以应用于超出毒性的其他人类价值吗？
是的，SASA可能会适应其他人类价值，如准确性、实用性和完整性，通过检查生成文本相对于多个相应子空间的位置。

使用SASA进行LLM去毒化的优势是什么？
SASA使生成的语言有效去毒化，同时保持接近原始采样分布，从而提升响应的上下文相关性，同时最小化毒性风险。

如何评估SASA方法对LLM毒性的有效性？
SASA的有效性可以通过比较使用SASA方法前后LLM生成的毒性评分，利用分析指标如最大毒性评分和生成毒性句子的比率来评估。