ICMLJul, 2021

你最优化的是什么？将推荐系统与人类价值观对齐

PDF
TL;DR通过修改实际推荐系统，实现多样化、公正、幸福、时间管理和事实准确度等各种人类价值；通过人工创建数据进行分类，解决一系列相关问题，但用户与其他利益相关者的参与度不高。相反，通过人工智能技术，从利益相关方进行值观的学习，识别四个主要措施：协作设计与操作、交互式价值学习和知情的审议性判断。
recommender systemsdiversityfairnessvalues engineeringai alignment
发现论文，激发创造
  • 使分类器能够明确地与人类价值观保持一致

    该研究介绍了一个基于明确人类价值观的价值对齐分类框架，并从大规模语言模型中提炼价值对齐知识以构建分类器，结果表明使用显式人类价值观分类器能提高人工智能的包容性和可解释性。

    Oct, 2022

  • 学习人类化的表示以实现学习人类价值

    构建与人类价值和目标相一致的 AI 系统，防止造成伤害或违反社会可接受行为的标准是一个重要课题，本研究通过研究伦理学作为价值一方面并训练多个 ML 代理，研究其与人类的代表性一致程度与学习最具道德行为的性能之间的关系。

    Dec, 2023

  • 人类价值是什么，我们如何使人工智能与之相吻合？

    通过道德图表法，本文研究如何合成不同的人类价值观输入，以对齐语言模型的行为，并通过在 500 名代表性美国人身上试验证明了其有效性。

    Mar, 2024

  • 衡量价值对齐

    本文介绍了一种新的形式化方法来量化人工智能系统与人类价值观的一致性，使用马尔可夫决策过程作为基础模型，强调价值观作为行动的可取目标和规范行为准则与 AI 决策之间的联系，为评估规范与价值观之间一致程度提供了一种机制，以在规范世界中评估状态转换中的偏好变化。利用这种形式化方法，AI 开发者和伦理学家可以更好地设计和评估 AI 系统，以确保其与人类价值观和谐共处，该方法还适用于许多应用领域，例如强调幸福的推荐系统和强调安全的自动驾驶车辆。

    Dec, 2023

  • 伦理人工智能的人类价值计算框架

    通过社会科学根植的正式概念框架，系统、集成和跨学科地探究人类价值如何支持设计道德人工智能，从而解决价值对齐问题和其他相关的挑战，如人工智能学习人类价值观、将个人价值观聚合到群体中和设计计算机机制来处理价值观。

    May, 2023

  • 我们要优化什么？基于人的评估的深度学习推荐系统

    我们开发了一个坚固的人本评估框架，该框架结合了七个不同的评估指标，用于评估五个最近开源的深度学习模型生成的推荐的质量。我们的评估数据集包含了离线基准数据和从 445 名真实用户收集的个性化在线推荐反馈。我们发现，（1）不同的深度学习模型在我们测试的多维度指标上有不同的优势和劣势；（2）用户通常希望在推荐中将准确性与至少一个其他人类价值相结合；（3）不同价值的组合程度需要仔细实验以达到用户偏好水平。

    Jan, 2024

  • AI 推理中的人类价值建模

    构建与人类价值观相符的人工智能系统是当前面临的重要挑战之一。本研究提出了一个形式化模型，以明确计算地表示人类价值观，为基于人类价值观的人工智能推理提供了理论基础，并在实际应用中验证了该模型的适用性。通过这种自动推理人类价值观的能力，不仅能解决价值观一致性问题，还有助于设计支持个人和社区做出更明智、与价值观相符的决策的人工智能系统。

    Feb, 2024

  • 推荐系统对齐问题的建模

    本研究旨在探讨如何通过奖励函数来评估推荐系统的效果以及如何解决推荐系统的对齐问题，尝试使用纯虚拟环境的例子评估各种潜在的解决方案。

    Aug, 2022

  • 使用人类反馈的 AI 对准研究中的方法论思考

    本文探讨了人工智能、对齐、大型语言模型、总结模型和人类反馈等方面的方法论挑战，特别是针对训练总结文本的 LLMs。具体地，我们关注的是收集可靠人类反馈的方法，以训练奖励模型并进一步改进总结模型。结论是建议有关 LLMs 总结能力对齐研究的实验设计方面进行特定的改进。

    Dec, 2022

  • 超越点击率优化：将编辑价值观融入新闻推荐

    本文研究了新闻组织中的自动化新闻推荐系统，探讨了在编辑价值的背景下，自动化推荐对读者的阅读行为的影响，发现相较于非个性化的编辑排名，我们的推荐系统可产生更多样化的阅读行为和更高的文章覆盖率，并且可以通过重新排名方法成功地将动态性融入我们的推荐系统，有效地引导读者浏览更具有多样性和活力的文章。

    Apr, 2020