近期的人工智能的普适性进展凸显出引导人工智能系统走向个人和群体的目标、道德原则和价值观的重要性，这被广泛称为对齐。然而，人工智能和哲学领域对于人工智能和人类对齐的定义和范围尚未被明确界定，而且这个问题的长期互动和动态变化也基本被忽视。为了填补这些空白，我们对 2019 年至 2024 年 1 月间发表的 400 多篇论文进行了系统综述，涵盖了人机交互、自然语言处理、机器学习等多个领域。我们对人工智能与人类对齐进行了描述、定义和范围界定，并从以人为中心的视角提出了一个 “双向人工智能与人类对齐” 的概念框架来组织文献。该框架包括了将人工智能与人类对齐的传统研究，即确保人工智能系统产生由人类确定的预期结果，以及调整人类与人工智能对齐的概念，旨在帮助个人和社会在认知和行为上适应人工智能进展。此外，我们阐述了文献分析的关键发现，包括关于人类价值观、交互技术和评估的讨论。为了未来研究的发展，我们展望了未来方向的三个关键挑战，并提出了潜在的未来解决方案的例子。

Jun, 2024

AI 对齐存在悖论：我们越好地将 AI 模型与我们的价值观相一致，就越容易让对手使模型不一致。为确保人类福祉，必须确保广泛研究者共同意识到 AI 对齐悖论，并努力寻求突破途径。

May, 2024

本文探讨了人工智能、对齐、大型语言模型、总结模型和人类反馈等方面的方法论挑战，特别是针对训练总结文本的 LLMs。具体地，我们关注的是收集可靠人类反馈的方法，以训练奖励模型并进一步改进总结模型。结论是建议有关 LLMs 总结能力对齐研究的实验设计方面进行特定的改进。

Dec, 2022

探讨人工智能对齐问题所涉及的哲学问题，明确目标并提出合理的原则方法来解决技术和规范的问题，从而达成公平的人工智能对齐。

Jan, 2020

通过应用争论模型分析不同领域的案例研究，本研究旨在解决 AI 对齐问题中复杂的利益冲突，为 AI 工程师确保系统最大程度地与多样化的人类利益对齐提供了有代表性的价值数据。

Jun, 2024

在讨论人工智能对齐（人与人工智能系统之间的对齐）时，重点放在价值对齐上，广泛指的是创建具有人类价值观的人工智能系统。我们认为，在试图对齐价值之前，AI 系统和人类对于理解世界所使用的概念需要对齐，这是至关重要的。我们结合了哲学、认知科学和深度学习的思想，解释了人类和机器之间需要概念对齐而非仅仅价值对齐的需求。我们总结了人类和机器目前如何学习概念的现有观点，并概述了达成共享概念的机遇和挑战。最后，我们解释了如何利用认知科学和人工智能研究中已经开发的工具来加速实现概念对齐的进展。

Jan, 2024

通过分析现有的 AI 对齐研究，我们发现领域正在迅速发展，并出现了几个子领域。我们查看了子领域并确定了突出的研究人员、经常出现的话题和每种不同的交流方式。此外，我们发现，一个分类器可以检测出 AI 对齐研究文章中没有最初包含在数据集中的相关文章。我们希望向研究社区共享数据集，并希望未来能够开发工具来帮助既有研究人员和年轻的研究人员更多地参与这一领域。

Jun, 2022

本文主要讨论随着人工智能的广泛应用，如何确保人工智能系统追求我们想要其追求的目标，区分直接对齐问题和社会对齐问题，并分析了不同解决方案。其中，直接对齐问题解决方法主要集中在更强大的实现；而社会对齐问题通常由于个人和群体层面目标之间的冲突而产生，因此需要强调人工智能治理以解决冲突，并同时执行现有规范并设计适用于人工智能系统的新规范。

May, 2022

AI 对齐是确保 AI 产生期望结果而无副作用的总体问题，可以从安全性、人类价值以及设计和评价交互式 AI 系统的界面的角度进行考虑。本文将 AI 对齐的概念映射到一个基本的三步交互循环中，得到相应的对齐目标：1）规范对齐：确保用户能够高效、可靠地与 AI 沟通目标；2）过程对齐：提供验证和可选控制 AI 执行过程的能力；3）评估支持：确保用户能够验证和理解 AI 的输出。我们还介绍了替代过程的概念，即 AI 实际过程的简化、分离且可控的表示；以及过程差异（Process Gulf）的概念，强调人类和 AI 过程之间的差异可能导致 AI 控制方面的挑战。为了说明该框架的价值，我们描述了商业和研究系统在每个对齐维度上的情况，并展示了提供交互对齐机制的界面如何带来不同且改善的用户体验。

Oct, 2023

大型模型在人工智能领域取得了革命性突破，但也可能引发一些潜在的担忧。本文综合研究价值对齐方法，探究了历史背景、数学本质以及现有对齐方法（强化学习、监督微调和上下文学习）的联系、优势和局限，并讨论了个性对齐和多模态对齐作为该领域的新兴方向。最后，展望了未来对齐范式以及如何处理剩余挑战。

Mar, 2024