Jan, 2022

何时违背规则是可以接受的？基于实证数据的道德判断知识表示

PDF
TL;DR研究人类道德思维中杰出的灵活性并将其应用于开发可以解释和产生类人道德判断的人工智能系统，以及将这些推理能力有效地嵌入机器中的方法，该方法利用基于偏好的结构来建模，并捕获了与标准双过程道德判断理论的新修正有关的话题，并详细介绍了研究结果。
发现论文，激发创造
  • 何时需要例外：探究语言模型作为人类道德判断的解释

    为了能够有效地与人类协作并确保安全，人工智能系统需要能够理解、解释和预测人类的道德判断和决策。为了解决这一挑战，本文提出了一个基于最新的道德心理学研究的规则破坏问题回答 (RBQA) 挑战集，并使用最先进的大型语言模型 (LLMS) 作为基础，提出了一个新的 MORALCOT 策略以预测人类道德判断。

    Oct, 2022

  • 道德故事：关于规范、意图、行动及其后果的情境推理

    探究自然语言生成模型作为行为先验条件用于社交环境中行为的假设生成，结合 Moral Stories 数据集研究并提出解码策略，通过综合专家模型实现优质行为生成、后果和规范生成。

    Dec, 2020

  • 将人工智能与共享人类价值观相一致

    本文介绍了 ETHICS 数据集，旨在通过连接社会世界知识和价值判断来评估语言模型对道德基本概念的了解程度，研究发现当前语言模型有望但能力不完整地预测基本人类道德判断，并提供了实现人工智能与人类价值对齐的一步。

    Aug, 2020

  • 人类与语言模型道德推理评估中的程序化困境生成

    AI 系统在决策中的应用日益增多，确保这些系统有合理的道德推理至关重要。我们提供了一个框架，使用语言模型将捕捉道德困境关键方面的因果图翻译为提示模板，并通过 OffTheRails 基准测试生成了一系列道德困境，组成了 50 个场景和 400 个独特的测试项目。与两个语言模型（GPT-4 和 Claude-2）的评价相比，我们从人类参与者为子集的项目收集了道德合理性和意图评估结果。在道德困境中，将伤害视为必要手段（与副作用相比）会导致参与者和语言模型对其道德可容许性的评价较低，对其意图评价较高。这种模式也适用于可避免与不可避免的有害结果。然而，无论损害是来自代理人的行动还是来自未行动，都没有明确的影响。我们讨论了提示生成流程的限制以及改善场景来增强实验效果的机会。

    Apr, 2024

  • 通过经验与互动学习机器道德

    下一代人工智能系统的安全性越来越受关注，需要将道德性融入自主代理中。本文系统化地介绍了在机器中引入道德性的现有方法，并提出了需要更多混合解决方案创建适应性强、稳健可控且可解释的代理的论点。同时，通过案例研究和评估道德学习代理的有效性，探讨了未来人工智能安全和伦理面临的挑战。

    Dec, 2023

  • 通识道德决策的计算模型

    提出了一种基于社交动态的常识道德学习模型，描述了道德困境的效用函数，用于解决抽象的道德维度上的交易，并通过贝叶斯模型刻画了个体和团体的社会结构，从有限的观测数据中推断出个体和团体的道德价值，并将该方法应用于自主车辆道德困境数据。

    Jan, 2018

  • 关于机器道德的一词：对蒋等人（2021）的回应

    本文探讨了 AI 和 NLP 领域中的伦理学问题，重点关注了自动化伦理判断的 Delphi 模型，并提出了批判性的观点和如何通过透明度、民主价值观和简单明了的问责机制来推动机器伦理学的发展。

    Nov, 2021

  • 使用多智能体强化学习对社会困境中的道德选择建模

    该文探讨了将道德选择嵌入智能系统的重要性，提出了使用强化学习设计奖励结构以探究道德问题，并在三种社交困境游戏中分析了不同类型的道德如何影响智能体的行为，探讨了这些发现对于智能和混合人工智能社会的发展的影响。

    Jan, 2023

  • 重新思考机器伦理 — 透过道德理论的视角，LLM 能进行道德推理吗？

    提出了一个灵活的框架，利用跨学科研究中建立的道德理论，引导大型语言模型进行道德推理，证明了该框架在从道德理论中衍生的数据集上的有效性，展示了不同道德理论与现有道德数据集之间的一致性，并展示了开发可解释的道德判断系统中现有资源（模型和数据集）的潜力和缺陷。

    Aug, 2023

  • 道德不确定性下的强化学习

    该研究论文提出两种训练方法实现不同的期望，通过在简单环境中训练智能体在道德不确定性下行动，从而促进具有道德能力的代理人的进展，并突显强化学习对道德哲学的计算基础的潜力。

    Jun, 2020