生成式人工智能越来越多地生成类似于人类输出的内容，从文本到图像等，增加了强化或加剧社会偏见和不平等的风险。我们在此正式刻画生成式人工智能的公平性概念，作为监测和强制公平性的基础。我们利用无限词的概念定义了两个层面的公平性。第一个层面是对生成序列展示的公平性，仅在输出上进行评估，而对提示 / 模型不关心。第二个层面是生成式人工智能模型的固有公平性，要求在输入提示中是中立的情况下也能表现出公平性，即不明确指示生成式人工智能产生特定类型的输出。我们还研究了相对交叉公平性以应对考虑多个类别时公平性的组合爆炸和懒惰公平性强制。我们实施的规范监测和强制工具在测试多个生成式人工智能模型时显示出有趣的结果。

Apr, 2024

近年来，生成性人工智能（GenAI）如大型语言模型和文本到图像模型，在各个领域引起了重大关注。然而，确保这些模型生成的内容是负责任的对于它们在实际应用中的重要性至关重要。本文就文本和图像生成模型的实际负责任要求进行了调查研究，概述了五个关键考虑因素：生成真实内容、避免有害内容、拒绝有害指令、泄露与训练数据相关的内容以及确保生成的内容可识别。具体来说，我们回顾了解决这些要求的最新进展和挑战。此外，我们讨论并强调了在医疗保健、教育、金融和人工智能领域中负责任的 GenAI 的重要性。通过统一的文本和图像生成模型视角，本文旨在为实际安全相关问题提供见解，并进一步造福于建设负责任的 GenAI 了解相关社区。

Apr, 2024

通过分析 378 个伦理问题的 19 个主题领域，本研究综述了生成人工智能伦理问题的分类和排名，主要关注大型语言模型和图像生成模型，为学者、从业人员和政策制定者提供了关于公平性、安全性、有害内容、幻觉、隐私、交互风险、安全性、社会影响等伦理争论的全面概述，并讨论了结果、评估了文献中的不平衡现象，并探讨了未经证实的风险场景。

Feb, 2024

通过一项称为公平扩散的新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性和防止其加重偏见。

Feb, 2023

本研究旨在探讨适当的 moderation 对于提高聊天 AI 系统的用户体验的作用，研究发现恰当的 moderation 不仅不会降低用户的满意程度，反而有可能提高用户留存，是一种有效的系统设计方式。

Apr, 2023

本文回顾了以往提出的公正度量标准，并讨论了绩效基准框架以及替代度量标准的评估。

Jul, 2021

探讨了在开放领域生成式对话模型中缓解无意识偏见、有害行为的问题，提出了新的人与模型交互框架及新方法，而不使用外部分类器，在保证模型可用性的同时更安全，实现了自动和人为评估。

Oct, 2020

泛人工智能与人类的互动达到了前所未有的规模，为巨大的积极影响提供了新途径，但也引发了广泛关注，担忧其对个体和社会可能造成的伤害。本文中，我们认为，对这些人工智能技术的有意义的安全保证只能通过思考人工智能输出与人类行为之间形成的反馈循环如何推动交互走向不同结果来实现。为此，我们设想了从控制论到人类中心的人工智能安全的快速增长能力之间的高价值契机，为未来几十年的人类中心人工智能安全奠定了新基础。

May, 2024

我们的研究论文使用形式化定义 “harm amplification”，并开发了量化伤害扩大的方法，旨在解决 Text-to-image 模型中的安全问题，并在实际部署场景中检验了不同方法的效果，包括伤害扩大对不同性别的差异影响。

Feb, 2024

通过在不同的人口子集上进行注释的文本上训练分类器来衡量算法内容调节系统的规范偏见。

Jul, 2017