通过应用争论模型分析不同领域的案例研究，本研究旨在解决 AI 对齐问题中复杂的利益冲突，为 AI 工程师确保系统最大程度地与多样化的人类利益对齐提供了有代表性的价值数据。

Jun, 2024

生物和人工信息处理系统形成世界的表示，以用于分类、推理、规划、导航和决策。研究这些不同系统形成的表示在多大程度上一致？不同的表示是否仍然可以导致相同的行为？系统如何修改其表示以更好地匹配另一个系统的表示？研究表示对齐的这些问题是当代认知科学、神经科学和机器学习最活跃的研究领域之一。为了改善不同领域之间的沟通，我们提出了一个统一的框架，可以作为研究表示对齐的研究人员之间的共同语言。我们从认知科学、神经科学和机器学习领域的文献中进行综述，并展示了以前的工作如何适应这个框架。最后，我们提出了在表示对齐方面的开放问题，进展可以使这三个领域受益。我们希望我们的工作能够促进跨学科合作，加速所有研究和开发信息处理系统的社区的进步。请注意，这是一篇工作论文，欢迎读者提出他们对未来修订的建议。

Oct, 2023

人工智能可能会超越人类，然而，如果不采取措施，其可能学会不符合人类期望的目标，并使用追求权力的策略，导致人类无法控制其行为。因此，该研究概述了该问题及其研究方向。

Aug, 2022

我们进行了一项关于设计能够在虚构但具有实际意义的在线相机销售任务中进行谈判的代理的质性经验研究，发现为了代理成功完成任务，人类 / 用户和代理需要在知识架构、自主性和代理性、操作性、培训、声誉启发式和伦理、人类参与等六个维度上达成一致。这些经验研究结果扩展了以往有关过程和规范对齐以及人工智能与人类交互中价值观和安全性需求的相关工作，并讨论了设计师在设想充满人类 - 代理协作的世界中的三个设计方向。

Apr, 2024

人工智能在人类生活的高风险领域的的应用愈加普及，XAI 应运而生，但其面临的 “不一致问题” 可能会导致潜在的危险后果，因此有必要采取缓解措施。本文提供了一些调适不一致解释的方法，分析了不同的攻击方式以及行为同调调整在社会上潜在危险造成的影响。

Jun, 2023

近期的人工智能的普适性进展凸显出引导人工智能系统走向个人和群体的目标、道德原则和价值观的重要性，这被广泛称为对齐。然而，人工智能和哲学领域对于人工智能和人类对齐的定义和范围尚未被明确界定，而且这个问题的长期互动和动态变化也基本被忽视。为了填补这些空白，我们对 2019 年至 2024 年 1 月间发表的 400 多篇论文进行了系统综述，涵盖了人机交互、自然语言处理、机器学习等多个领域。我们对人工智能与人类对齐进行了描述、定义和范围界定，并从以人为中心的视角提出了一个 “双向人工智能与人类对齐” 的概念框架来组织文献。该框架包括了将人工智能与人类对齐的传统研究，即确保人工智能系统产生由人类确定的预期结果，以及调整人类与人工智能对齐的概念，旨在帮助个人和社会在认知和行为上适应人工智能进展。此外，我们阐述了文献分析的关键发现，包括关于人类价值观、交互技术和评估的讨论。为了未来研究的发展，我们展望了未来方向的三个关键挑战，并提出了潜在的未来解决方案的例子。

Jun, 2024

在讨论人工智能对齐（人与人工智能系统之间的对齐）时，重点放在价值对齐上，广泛指的是创建具有人类价值观的人工智能系统。我们认为，在试图对齐价值之前，AI 系统和人类对于理解世界所使用的概念需要对齐，这是至关重要的。我们结合了哲学、认知科学和深度学习的思想，解释了人类和机器之间需要概念对齐而非仅仅价值对齐的需求。我们总结了人类和机器目前如何学习概念的现有观点，并概述了达成共享概念的机遇和挑战。最后，我们解释了如何利用认知科学和人工智能研究中已经开发的工具来加速实现概念对齐的进展。

Jan, 2024

AI 对齐存在悖论：我们越好地将 AI 模型与我们的价值观相一致，就越容易让对手使模型不一致。为确保人类福祉，必须确保广泛研究者共同意识到 AI 对齐悖论，并努力寻求突破途径。

May, 2024

提出了一个新的统一维度的概念模型，围绕着机构、交互和调适三个高层面展开，通过文献调查和半结构化访谈的方法逐步完善和验证。最后，利用这个设计空间对选定的人工智能系统进行结构化描述。

Apr, 2024

这篇论文系统地介绍了人工智能与人类协作时可能出现的观察、解释和行动上的冲突，包括其潜在风险、测量方法、影响因素，并强调了这是一个正在崛起的风险领域，需要与传统的故障和失效分析区分开来。

May, 2023