认知模型作为模拟器：道德决策的案例

Oct, 2022

认知模型作为模拟器：道德决策的案例

Cognitive Models as Simulators: The Case of Moral Decision-Making

Ardavan S. Nobandegani, Thomas R. Shultz, Irina Rish

TL;DR该研究提出了使用认知模型作为模拟人类代替人类与人工智能交互和收集反馈以提高训练效率的方法，并在道德决策制定方面实践，表明这是计算认知科学对人工智能的重要贡献。其中使用强化学习代理与认知模型交互学习公平性，并能理性调整行为，以此为例说明认知模型作为人类模拟器在训练人工智能系统方面是有效的。

Abstract

To achieve desirable performance, current ai systems often require huge amounts of training data. This is especially problematic in domains where collecting data is both expensive and time-consuming, e.g., where

ai systems cognitive models training data moral decision-making reinforcement learning

发现论文，激发创造

使用多智能体强化学习对社会困境中的道德选择建模

该文探讨了将道德选择嵌入智能系统的重要性，提出了使用强化学习设计奖励结构以探究道德问题，并在三种社交困境游戏中分析了不同类型的道德如何影响智能体的行为，探讨了这些发现对于智能和混合人工智能社会的发展的影响。

Jan, 2023

道德不确定性下的强化学习

该研究论文提出两种训练方法实现不同的期望，通过在简单环境中训练智能体在道德不确定性下行动，从而促进具有道德能力的代理人的进展，并突显强化学习对道德哲学的计算基础的潜力。

Jun, 2020

模仿模型：类人智能技术的道德影响

本文提出了一种框架，用于描述人工智能领域中新兴的 “模仿模型” 所引发的伦理和社会问题，该模型不同于以往的模型，因为它是针对特定个体设计的，并且旨在进行交互而不仅仅是复制固定的预先计算出的行为。我们考虑了这些模型的不同应用场景，并考虑了不同参与者（包括模型的目标、模型的使用者和与之交互的实体）之间的影响。

Jul, 2022

通过经验与互动学习机器道德

下一代人工智能系统的安全性越来越受关注，需要将道德性融入自主代理中。本文系统化地介绍了在机器中引入道德性的现有方法，并提出了需要更多混合解决方案创建适应性强、稳健可控且可解释的代理的论点。同时，通过案例研究和评估道德学习代理的有效性，探讨了未来人工智能安全和伦理面临的挑战。

Dec, 2023

何时需要例外：探究语言模型作为人类道德判断的解释

为了能够有效地与人类协作并确保安全，人工智能系统需要能够理解、解释和预测人类的道德判断和决策。为了解决这一挑战，本文提出了一个基于最新的道德心理学研究的规则破坏问题回答 (RBQA) 挑战集，并使用最先进的大型语言模型 (LLMS) 作为基础，提出了一个新的 MORALCOT 策略以预测人类道德判断。

Oct, 2022

AI 通过逆向强化学习隐式学习人类价值体系的文化敏感道德机器

使用逆强化学习作为方法，使得人工智能代理人能够基于人类观察和互动隐式地获得文化敏感的价值观体系。通过在线虚拟世界中观察不同文化群体的行为，我们的实验结果显示出代理人能够通过学习特定文化群体的行为获得反映该群体行为的利他特征，且这一学习到的价值体系可以推广到需要进行利他判断的新场景。这是首次演示出人工智能代理人具备持续从观察和与人类互动中学习价值观和规范的能力，从而与其所操作的文化环境相适应。

Dec, 2023

通识道德决策的计算模型

提出了一种基于社交动态的常识道德学习模型，描述了道德困境的效用函数，用于解决抽象的道德维度上的交易，并通过贝叶斯模型刻画了个体和团体的社会结构，从有限的观测数据中推断出个体和团体的道德价值，并将该方法应用于自主车辆道德困境数据。

Jan, 2018

高阶认知模型在主动学习中的作用

建立能够有效与人类协作的机器一直是人工智能领域的长期目标。在存在不确定性的情况下，实现最佳合作通常需要人类和人工智能代理模拟彼此的行为，并利用这些模型推断潜在目标、信念或意图，这可能涉及多个层次的递归。我们提倡一种新的主动学习范式，利用人类作为主动数据源，同时考虑到他们的更高级别的能动性。此外，我们提供了一个使用高阶认知模型进行主动学习的实际示例。伴随着一个计算研究，突出了这个模型产生的独特行为。

Jan, 2024

公平提示：人工智能作为游戏玩家

通过对 101 轮独裁者游戏的研究，我得出结论：人工智能在游戏中表现出强烈的公平意识，这取决于它认为与之互动的人是否值得信任；在指定为受托人时，框架对人工智能给予接收者的数量有很大影响；而且也有证据表明人工智能可能像人类一样对不平等具有厌恶感。

Feb, 2024

可微分用户模型

本文介绍了一种通过不同 iable surrogates 来规避计算时间瓶颈的方法，这种方法可以使现代行为模型在线使用而无需考虑其计算成本，并且在计算时间上可以实现与无法似然推断方法相当的建模能力，最后，我们展示了如何使 AI 助手在先前研究过的菜单搜索任务中计算模型的可行性。

Nov, 2022