该论文提出，针对推荐系统中的偏好操纵问题，必须考虑到某些元偏好（对另一个偏好的偏好），以尊重用户的自治权并避免操纵。

Sep, 2022

现有的 AI 对齐方法假设偏好是静态的，这是不现实的：我们的偏好会改变，甚至可能受到与 AI 系统的交互的影响。为了阐明错误地假设偏好是静态的后果，我们引入了动态回报马尔可夫决策过程 (DR-MDPs)，明确地模拟偏好变化和 AI 对其的影响。我们发现，尽管静态偏好的假设具有方便性，但它可能破坏现有对齐技术的准确性，使其暗地里奖励 AI 系统以影响用户偏好，而用户可能并不真正想要这样。然后，我们探讨了潜在的解决方案。首先，我们提供了一个统一的视角，阐述了一个代理的优化范围在某种程度上如何帮助减少不希望的 AI 影响。然后，我们从一开始就形式化了不同的 AI 对齐概念，考虑了偏好的变化。比较了 8 种这样的对齐概念的优缺点，发现它们要么倾向于引起不良的 AI 影响，要么过于风险回避，这表明解决偏好改变问题的简单解决方案可能不存在。由于在实际环境中无法避免处理不断变化的偏好，这使得我们更加重视如何平衡风险和能力来处理这些问题。我们希望我们的工作可以提供概念的清晰性，并成为针对人类偏好的变化性和可影响性明确考虑和应对的 AI 对齐实践的第一步。

May, 2024

通过对哲学、心理学和经济学理论建立数学离散模型，结合社会选择和偏好建模技术进行数据分析，旨在更好地了解人们所做出决定时的犹豫行为，以优化人工智能系统的行为表现。

Dec, 2020

个性化 AI 技术的定制对其良好运行至关重要，当前的方法需要太多用户参与，无法真正捕捉其偏好。我们认为需要一种新的视角来构建规范，利用整个用户系统中大量可用的偏好信息，启发于推荐系统，我们相信协同过滤可以提供一种适合的方法来识别用户的规范偏好，避免过多用户参与。

Aug, 2023

通过收集健身数据集，进行相关的实证研究，并基于研究结果实现了建议系统，从而帮助用户更好地理解他们的隐私设置，从而更好地保护个人身份信息和表达个人伦理偏好，并实现了较高的准确性。

Apr, 2022

本文旨在研究设计面向用户的策略推荐系统时需要考虑的重要因素。我们进行了一项人体实验，测量了不同性格类型的用户对不同策略推荐系统的偏好，并发现某些人格特征明显影响了特定类型的系统的偏好。最后，我们报告了推荐的可用性、一致性和感知智能之间的有趣关系，其中更高的一致性与个人偏好推荐会导致更高的感知智能和可用性。

Jan, 2023

为了实现机器人在不同环境和人类偏好中的适应性，本研究提出了在线稀疏二元偏好查询的方法，通过设计查询和决定何时呈现查询来最大化查询结果的信息价值，从而使得机器人能够快速适应实际应用场景并减轻人类专家的负担，在模拟，人类用户研究和真实机器人实验中，该方法表现优于传统技术并减少人类专家的查询负担。

Feb, 2023

通过将 AI 辅助决策视为人类决策过程中的 “推动”，我们提出了一个计算框架，用于解释不同形式的 AI 辅助对决策者的影响，并根据真实数据对其进行评估。研究结果显示，该框架在准确预测 AI 辅助决策中的人类行为方面优于其他基准模型，并提供了不同认知风格的个体受到不同形式 AI 辅助时的洞见。

Jan, 2024

研究机器学习中先前观察到的人们的选择，作为贝叶斯反向规划的先验，建议了一种引入计划偏差和时序不一致性的算法，通过构造计划生成模型，分析了其对偏差和忠诚度的推断。人体实验表明，人们也会从系统性偏离最佳行为中解释选择，并考虑这些偏差。

Dec, 2015

最近人工智能（AI）技术在各种学术领域和行业展现出了显著的发展。然而，在现实世界中，动态数据给 AI 模型的部署带来了主要的挑战。我们通过设置数据变化来识别两个主要的相关研究领域，即领域转移和概念漂移。虽然这两个热门研究领域旨在解决分布转移和非平稳数据流问题，但其基本属性仍然相似，这也鼓励了相似的技术方法。在这篇综述中，我们将领域转移和概念漂移重新组合为一个研究问题，即数据变化问题，并对这两个研究领域中的最新方法进行了系统概述。我们提出了一个三阶段问题分类方案，以将这两个技术领域中的关键思想联系起来。因此，我们为研究人员提供了一个新的范围，探索当代技术策略，了解工业应用，并确定解决数据变化挑战的未来方向。

Feb, 2024