语言生成模型可能会造成伤害：那我们能做些什么？一份可执行的调查

ACLOct, 2022

语言生成模型可能会造成伤害：那我们能做些什么？一份可执行的调查

Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey

Sachin Kumar, Vidhisha Balachandran, Lucille Njoo, Antonios Anastasopoulos, Yulia Tsvetkov

TL;DR本文对语言生成模型潜在威胁与社会危害进行了调查研究，提供了探查与缓解风险和伤害的实用方法，旨在为大型语言模型研究人员和从业者提供实用指南。

Abstract

Recent advances in the capacity of large language models to generate human-like text have resulted in their increased adoption in user-facing settings. In parallel, these improvements have prompted a heated discourse around the risks of →

large language models societal harms language model risks mitigation strategies lm researchers

发现论文，激发创造

语言模型的伦理和社会风险

本文旨在帮助构建与大规模语言模型相关的风险场景。我们总结了 LMs 可能面临的各种风险，如歧视、错误信息、自动化等，并提出了应对方法和未来研究方向。

Dec, 2021

生成人工智能伤害的心理社会影响

该研究探讨引起关注的生成式语言模型在教育领域可能产生的心理社会危害，分析了与学生课堂互动相关的 15 万个 100 字的故事中生成式语言模型所产生的角色人口统计学和再现伤害，强调了生成式人工智能工具在多样化社会环境中部署和使用时对于具有边缘化和少数族裔身份的用户体验可能产生的心理社会影响的重要性。

May, 2024

大型语言模型对于生成有害内容的鱼目混珠攻击存在漏洞

通过诱饵和转换攻击，大型语言模型能够将安全文本转化为有害内容，这提醒我们在开发可靠的安全保护机制时需要考虑后续转换。

Feb, 2024

自由放任的危害：生成式语言模型中的算法偏差

通过开放式提示，我们发现模型产生的文本在描绘边缘群体的身份时存在错误、隐含和刻板印象的问题，这些问题可能导致心理伤害和认知能力下降。

Apr, 2024

探索并缓解语言模型中的社会偏见

为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

Jun, 2021

非我的声音！言语生成器的伦理和安全危害分类

通过分析语音生成事件，我们提出了一个模型 AI 伦理和安全风险路径的概念框架，该框架可用于开发语音生成器的伤害分类法，并支持相应的政策干预和决策制定。

Jan, 2024

语言模型中的隐私风险识别与缓解：调查

通过对大规模语言模型的调查，本研究首次提供了关于语言模型隐私的技术综述，包括攻击与缓解策略的分类、现有攻击的趋势、现有缓解策略的强项与局限性，找出关键缺口并提出解决问题的方法与关切领域。

Sep, 2023

LLMs 在非法目的中的使用：威胁、预防措施和漏洞

本文在探讨大语言模型的发展和分发迅速增长的背景下，关注其安全和安全相关威胁和漏洞的最新研究工作，并提供了已有的科学努力概述，以识别和缓解与大语言模型相关的威胁和漏洞。通过我们的工作，希望在资深开发人员和新颖技术用户中增强对大语言模型的局限性和安全问题的意识。

Aug, 2023

大型语言模型的局限性、危害和风险的放大

本文介绍了人工智能（AI）领域中的基础和大型语言模型（LLMs）等技术的限制和风险，并且警告使用这些技术会带来的伤害。

Jul, 2023

自然语言生成模型的伦理评估民主化

本文介绍了一种新的工具 TEAL，它是 Credo AI Lens 的一部分，旨在民主化和标准化自然语言生成模型的伦理评估。这些模型可能通过生成歧视性语言、仇恨言论、亵渎性内容等有害材料来造成社会伤害，因此伦理评估至关重要。

Jun, 2022