Mar, 2022

100,000 个现实生活中道德困境的主题映射

PDF
TL;DR通过 Reddit 上最大的在线数据集 r/AmItheAsshole，利用话题建模等技术，发现道德困境的细致分类及其特征。其中我们发现，大多数困境都涉及至少两个话题，例如家庭和金钱；并且，话题的共现模式具有道德关注结构的有趣信息。该研究对于在线道德困境的细致分类研究具有很高的实用价值和参考意义。
moral dilemmastopic modelingredditonline dilemmasethical norms
发现论文，激发创造
  • Reddit 上道德判断的区分和预测的可解释模式

    本文研究 Reddit 上面的 r/AmITheAsshole 论坛，通过建立新数据集并对评论进行分析，发现了帖子所使用的文本模式与道德判断，评论中的道德立场表达，以及训练有素的分类器对帖子和评论进行决策的关联性。

    Jan, 2022

  • Scruples: 一份包含 32,000 个真实生活轶事的社区道德判断语料库

    本文介绍了一种数据驱动的方法来解决机器伦理问题，首次提出了 Scruples 数据集，其中包含了 32,000 个真实故事中的 625,000 个伦理判断，并探讨了神经模型在伦理学习中的应用和挑战。

    Aug, 2020

  • 探索和引导大型语言模型的道德罗盘

    该研究对最先进的大型语言模型进行了综合比较分析，评估了它们的道德特性，发现专有模型主要以功利主义为基础，而开源模型更符合价值伦理学；另外，通过道德基础问卷，除了 Llama 2 外，所有被调查模型都显示出明显的自由主义偏见；最后，为了对其中一个研究模型进行因果干预，提出了一种新颖的相似性激活引导技术。通过该方法，可以可靠地引导模型的道德观达到不同的伦理学派别。所有这些结果表明，已经部署的大型语言模型存在一个常常被忽视的道德维度。

    May, 2024

  • 人类与语言模型道德推理评估中的程序化困境生成

    AI 系统在决策中的应用日益增多，确保这些系统有合理的道德推理至关重要。我们提供了一个框架，使用语言模型将捕捉道德困境关键方面的因果图翻译为提示模板，并通过 OffTheRails 基准测试生成了一系列道德困境，组成了 50 个场景和 400 个独特的测试项目。与两个语言模型（GPT-4 和 Claude-2）的评价相比，我们从人类参与者为子集的项目收集了道德合理性和意图评估结果。在道德困境中，将伤害视为必要手段（与副作用相比）会导致参与者和语言模型对其道德可容许性的评价较低，对其意图评价较高。这种模式也适用于可避免与不可避免的有害结果。然而，无论损害是来自代理人的行动还是来自未行动，都没有明确的影响。我们讨论了提示生成流程的限制以及改善场景来增强实验效果的机会。

    Apr, 2024

  • 通识道德决策的计算模型

    提出了一种基于社交动态的常识道德学习模型，描述了道德困境的效用函数，用于解决抽象的道德维度上的交易，并通过贝叶斯模型刻画了个体和团体的社会结构，从有限的观测数据中推断出个体和团体的道德价值，并将该方法应用于自主车辆道德困境数据。

    Jan, 2018

  • 用推理生成众伦理判断的 AI 工具

    使用 AmITheAsshole (AITA) 社交媒体平台上的文章作为数据集，利用最先进的 seq2seq 文本生成模型生成清晰的道德观点和建议，从而评估其在道德判断方面与人类的相似性。

    Oct, 2023

  • 道德机器的道德困境

    本文讨论了使用道德困境作为验证机制，以在伦理负荷情况下实施决策算法的伦理机器学习问题。作者认为这是哲学思想实验的误用，但还是可以适当地使用其它途径来解决伦理机器学习问题。

    Mar, 2022

  • MoralBERT：社会话语中道德价值的检测

    通过精心设计的 MoralBERT 模型，结合社交媒体平台的标注道德数据，探索了道德预测及领域适应技术在理解有争议的社会议题上的应用，结果表明在领域内的预测模型明显优于传统模型，但领域外的泛化仍需进一步探索。

    Mar, 2024

  • 道德故事：关于规范、意图、行动及其后果的情境推理

    探究自然语言生成模型作为行为先验条件用于社交环境中行为的假设生成，结合 Moral Stories 数据集研究并提出解码策略，通过综合专家模型实现优质行为生成、后果和规范生成。

    Dec, 2020

  • 通过定义问题测试探索大型语言模型的认知道德发展

    该研究提出了一个评估框架，以心理学和人工智能为基础，帮助划定模型的伦理推理能力，评估道德一致性和科尔伯格的道德发展阶段。

    Sep, 2023