CoinRun: 解决目标误推广

Sep, 2023

CoinRun: Solving Goal Misgeneralisation

Stuart Armstrong, Alexandre Maranhão, Oliver Daniels-Koch, Patrick Leask, Rebecca Gorman

TL;DR通过使用 ACE（Algorithm for Concept Extrapolation）代理解决 CoinRun 挑战，本文展示了如何解决目标错误归纳中的一个关键标准挑战，该代理在新环境中不使用新的奖励信息，从而表明自主代理可以在新颖和关键的情况下受到信任以符合人类利益。

Abstract

goal misgeneralisation is a key challenge in ai alignment -- the task of getting powerful Artificial Intelligences to align their goals with human intentions and human morality. In this paper, we show how the ACE

goal misgeneralisation ai alignment ace agent coinrun challenge autonomous agents

发现论文，激发创造

深度学习视角下的对齐问题

人工智能可能会超越人类，然而，如果不采取措施，其可能学会不符合人类期望的目标，并使用追求权力的策略，导致人类无法控制其行为。因此，该研究概述了该问题及其研究方向。

Aug, 2022

目标错误泛化：为什么正确的规范并不足以达成正确的目标

该研究主要讨论 AI 系统可能在追求不期而至的目标时出现的问题，如规定游戏和目标误化，并提出几个研究方向以减少这些问题带来的灾难风险。

Oct, 2022

易于困难泛化：超越人类监督的可扩展对齐

通过从易到难的泛化和评估者的使用，本文提出一种可扩展的 AI 对齐方法，用于解决超越人类监督水平的困难推理任务，提升生成器模型在数学问题上的准确率。

Mar, 2024

量化强化学习的泛化能力

本文研究了深度强化学习中的过拟合问题，并使用程序生成的环境来构建不同的训练和测试集，其中引入了一个名为 CoinRun 的新环境，用作强化学习中泛化的基准。使用 CoinRun，作者发现代理程序会对相当大的训练集过拟合，还展示了更深层次的卷积体系结构以及传统监督学习中的方法，包括 L2 正则化，dropout，数据增强和批标准化等，能够提高泛化能力。

Dec, 2018

利用人类引导的因果知识实现更一般化的机器人任务规划

通过人类引导的因果知识的使用，作者在语言接口和机器人上开发和测试了一种方法，可以使机器人在新环境中获得泛化解决方案。

Oct, 2021

在遗憾匹配中平衡自我博弈训练中角色的人工智能强度

通过引入 Regret Matching + 方法，训练一种通用模型来控制游戏中的任何角色，以实现人工智能在多角色游戏中的均衡性能。

Jan, 2024

通过价值分歧进行自动课程学习

通过提出自动课程设计和目标建议模块，来提高强化学习中的多任务目标采样效率，并在机器人和导航任务中展示了比现有方法更好的性能。

Jun, 2020

Any-Play: 零样本协同的内在增强

通过 inter-algorithm cross-play 评估了协作人工智能算法的表现，提出了一种多智能体扩展的 intrinsic reward 方法 Any-Play 学习，在合作卡牌游戏 Hanabi 中表现为最先进的协作算法。

Jan, 2022

深度强化学习中的目标错泛化

本文研究强化学习中的一种广义泛化失败 —— 目标错误泛化。在此类失败中，强化学习代理在越出分布的情况下保留其能力，但追求错误的目标。我们阐明了能力和目标泛化之间的差别，提供了目标错误泛化的第一次经验演示，并对其原因进行了部分表征。

May, 2021

大规模多人游戏中的人工智能与人类协调

评估人工智能与人类在复杂多智体游戏中的一致性，提出了一种使用可解释的任务集框架评估的方法，重点关注高级行为任务而非低级策略。通过分析人类游戏数据和训练 AI 代理，将人类和 AI 游戏对比，发现人类和 AI 之间存在显著差异，强调在多人游戏中应对人工智能的评估、设计和整合进行清晰解释。

Feb, 2024