离线动态强化学习：通过领域分类器进行转移训练

ICLRJun, 2020

离线动态强化学习：通过领域分类器进行转移训练

Off-Dynamics Reinforcement Learning: Training for Transfer with Domain Classifiers

Benjamin Eysenbach, Swapnil Asawa, Shreyas Chaudhari, Sergey Levine, Ruslan Salakhutdinov

TL;DR我们提出了一种简单、实用和直观的强化学习领域自适应方法，通过修改奖励函数，使用辅助分类器来区分源域和目标域，对源域中不可能出现的状态进行惩罚，适用于连续状态和动作的域，可扩展至高维任务。

Abstract

We propose a simple, practical, and intuitive approach for domain adaptation in reinforcement learning. Our approach stems from the idea that the agent's experience in the source domain should look similar to its

domain adaptation reinforcement learning auxiliary classifiers reward function high-dimensional tasks

发现论文，激发创造

策略学习在缺乏支持下的离散的 RL 中的应用

通过解决源模拟和目标环境之间的动力学差异问题，提出一种简单但有效的方法，通过偏向和扩展源支持以减轻支持缺陷，以适应大的动力学差异，从而在目标领域中制定出有效的策略。

Feb, 2024

解耦动态与奖励的迁移学习

本文提出了一种分离式学习策略，通过创造共享的表示空间来保证知识可以稳健地转移，分离学习任务表示，前向动力学，反向动力学和领域奖励函数，并表明这种分离可以提高任务内的性能并有效用于在线计划，在连续和离散 RL 领域中表现良好。

Apr, 2018

捕获表征不匹配的方式进行跨领域策略自适应

本研究主要关注在强化学习中存在动力学不匹配的问题，提出了一种基于解耦表示学习的方法，通过在目标领域中进行表示学习并测量与源领域的过渡的表示差异，将表示差异作为奖励惩罚项，该方法在具有运动学和形态学不匹配的环境中表现出良好的性能。

May, 2024

AdaRL：迁移强化学习中的适应什么、在哪里和如何适应

提出了一种基于图表示学习的 RL 适应策略 AdaRL，只需少量样本即可可靠且高效地适应环境变化，结果表明 AdaRL 在 Cartpole 和 Atari 游戏中的表现良好。

Jul, 2021

跨领域离线强化学习中的数据过滤对比表示

本文提出了一种基于表征的方法来测量领域差距，并通过对不同领域进行过渡采样来学习表征，从而解决合并两个领域数据导致性能下降的问题。通过基于表征的方法筛选数据，我们的实证结果表明，我们的方法仅使用目标数据的 10％就能以 89.2％的性能达到 100％目标数据集与最先进方法的性能。

May, 2024

神经网络的领域对抗性训练

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015

领域对抗性强化学习

该研究解决强化学习中的泛化问题，通过领域对抗优化过程实现学习表征的视觉不变性，取得显著的泛化改进效果。

Feb, 2021

使用 Q 网络表示的转移强化学习在不同操作空间中的应用

本研究旨在探究在不同动作空间领域之间进行知识传递的可能性和有效性，提出了一种基于源嵌入相似性的奖励塑形方法，可适用于具有离散和连续动作空间的领域。在 Acrobot-v1 和 Pendulum-v0 领域上，基于两个基线的比较表明我们的方法没有在连续动作空间中取得更好的结果，但在离散动作空间中确实表现出了改进。

Feb, 2022

领域自适应和迁移学习简介

介绍了机器学习中领域自适应和转移学习的数据分布变化问题，分类模型的风险最小化框架及其在复杂变化中的应用，并讨论了多种方法来解决这些问题，但要实现实用化仍需解决许多问题。

Dec, 2018

领域自适应的判别式主动学习

本文提出了一种用于区域自适应的主动学习方法，通过使用三阶段的主动对抗训练神经网络（包括不变的特征空间学习阶段、不确定性和多样性准则及其折衷的查询策略，以及使用查询的目标标签重新训练阶段)，该方法可以减少数据标注的工作量，对四个基准数据集进行的实证比较表明了该方法的有效性。

May, 2020