鉴别器 - 演员 - 评论家：解决对抗性模仿学习中样本低效和奖励倾向的问题

Sep, 2018

鉴别器 - 演员 - 评论家：解决对抗性模仿学习中样本低效和奖励倾向的问题

Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning

Ilya Kostrikov, Kumar Krishna Agrawal, Debidatta Dwibedi, Sergey Levine, Jonathan Tompson

TL;DR使用新算法 “Discriminator-Actor-Critic”，提出解决基于 Adversarial Imitation Learning 框架的两个问题：隐式偏差和与环境产生大量交互所需的复杂性。该算法使用离线策略强化学习来降低策略 - 环境交互采样复杂度，并且由于我们的奖励函数是设计为无偏差的，因此可以在许多问题上应用而不进行任何任务特定的调整。

Abstract

We identify two issues with the family of algorithms based on the Adversarial Imitation Learning framework. The first problem is implicit bias present in the reward functions used in these algorithms. While these biases might work well for some environments, they can also lead to sub-o

adversarial imitation learning implicit bias policy-environment interaction off-policy reinforcement learning bias-free reward function

发现论文，激发创造

从亚优示例中进行判别器加权的离线模仿学习

本文介绍了一种利用 offline dataset 和 behavioral cloning 来解决 offline imitation learning 问题的算法，该算法额外引入了一个鉴别器来区分专家和非专家数据，并将其输出作为 behavioural cloning 的损失权重，实验结果表明该算法可以提高回报率和训练速度。

Jul, 2022

通过提升实现对抗模仿学习

通过建立加权回放缓冲区的新算法 AILBoost，该文研究了对抗性模仿学习在离策略训练中的有效性，实验证明 AILBoost 相较于 DAC 在控制器状态和像素环境中性能更佳。

Apr, 2024

对话生成：从模仿学习到逆强化学习

通过采用敌对模仿学习和敌对逆强化学习的方法，提出了一种新的对话生成奖励模型，可用于更精确地指导生成器训练，实验结果表明其有效性。

Dec, 2018

对抗引导的演员 - 评论家算法

本研究提出使用敌对模型来促进探索及提高效率，从而解决各类探索困难且奖励很少的问题，发现使用 Adversarially Guided Actor-Critic 比当前的现有方法都更加有效。

Feb, 2021

Actor-Critic 方法在强化学习中的样本复杂度问题与函数近似

本研究提出了一种新的 Actor-Critic 算法变体，使用 Monte Carlo 演算法在策略搜索更新期间进行 rollouts 以控制偏差，不论策略评估技术的选择，我们都能提供 Actor-Critic 算法的收敛速度，特别是当值函数采用线性函数近似且为连续状态和动作空间时，这些结果适用于 Temporal Difference, Gradient Temporal Difference 和 Accelerated Gradient Temporal Difference。

Oct, 2019

确定性判别式模仿 (D2 - 模仿): 重新审视对抗模仿以提高样本效率

本文提出了一种无需使用对抗训练或最大最小优化的离线策略样本高效方法 D2-Imitation，利用 TD 学习和确定性策略简化了学习过程，经实验验证在许多控制任务中比对抗性模仿的离线策略扩展方法更加高效。

Dec, 2021

差分隐私评论家演员模型

本文提出了一种隐私保护的知识转移技术，使用差分隐私策略评估算法来初始化一个演员 - 评论家模型并提高下游任务中的学习效果和样本效率，同时保持敏感或私有信息不泄露，这在资源受限的控制问题中具有实际意义。

Oct, 2019

多智能体强化学习的演员 - 注意力 - 评论家模型

提出了一个基于 Actor-Critic 算法的多智能体强化学习算法，解决了多智能体场景下的信息筛选问题，可应用于大多数多智能体学习问题。

Oct, 2018

RILe: 强化模仿学习

RILe 是一个学生 - 教师系统，通过根据学生的表现和与专家演示的一致性动态调整奖励函数，实现对不完美数据的鲁棒性，并在具有有限或嘈杂专家数据的环境中优于现有方法的 2 倍。

Jun, 2024

部分观察多智能体环境下的演员 - 评论家策略优化

本研究讨论了基于梯度上升的策略梯度和演员 - 评论家算法在部分可观测多智能体环境中的角色，并通过对零和不完全信息游戏等模型的建模来优化模型自由多智能体增强学习的表现。

Oct, 2018