强化学习中的样本重要性加权转移

ICMLMay, 2018

强化学习中的样本重要性加权转移

Importance Weighted Transfer of Samples in Reinforcement Learning

Andrea Tirinzoni, Andrea Sessa, Matteo Pirotta, Marcello Restelli

TL;DR本篇论文提出了一种基于模型的技术，在传输体验样本时自动估算每个样本与给定目标任务的关联性，以及在 RL 问题中使用重要性权重来解决负迁移问题，模型的结果经实验证明比目前最新的方法具有更好的学习性能和抗差能力。

Abstract

We consider the transfer of experience samples (i.e., tuples < s, a, s', r >) in reinforcement learning (RL), collected from a set of source tasks to improve the learning process in a given target task. Most of t

reinforcement learning experience samples model-based technique importance weight batch rl algorithm

发现论文，激发创造

面向离线强化学习的价值感知重要性加权

本文提出了一种基于价值感知的重要性权重方法，可用于增强学习的离线预测模型，并在实验中进行了评估。

Jun, 2023

从多个 MDPs 转移

本文研究利用源任务采集的经验来加速强化学习算法的传递强化学习方法，介绍了在源任务与目标任务之间相似度的基础上适应转移过程的新算法，并在一个连续链问题中报告了描绘性实验结果。

Aug, 2011

可减损失下的强化学习样本优先级

本文提出了一种基于可学习性的样本优先级算法，能够更好地在经验回放中利用重要样本，并证明该算法优于随机抽样和传统的以训练损失率为优先级指标的方法。

Aug, 2022

多任务强化学习的样本复杂度

介绍了一种新的多任务算法用于强化学习任务，该算法显着减少了探索的每个任务的样本复杂性，并保证不会出现负转移，与对应的单任务算法相比具有可比性。

Sep, 2013

强化学习中表征转移的可证明收益

本研究探讨了强化学习中的表征传递问题，提出了一种基于预训练和生成访问的新方法，可以帮助在源任务中发现一个共享表征来快速收敛到一个接近最优策略的目标任务中。

May, 2022

基于多源转移学习的深度模型强化学习

本研究旨在提出多源模块化转移学习技术，以减少强化学习所需的环境交互次数并提高知识重用。我们支持这一技术的有效性，并进行了广泛而具有挑战性的视觉控制跨领域实验。

May, 2022

机器学习中的重要度加权研究简述

通过密度比重方法，本研究论述了重要性加权在统计学和机器学习中的广泛应用及其与相关研究的关联。

Mar, 2024

基于偏好成本学习的任务转移

本文提出了一个新的任务转移框架，通过专家偏好作为指导，无需明确的成本函数，随着增强的 Adversarial MaxEnt IRL，学习目标代价函数和轨迹分布，并通过选择结果生成更多的轨迹，实验证明了该方法的效果。

May, 2018

使用无似然权重的经验回放

本文提出了一种基于稳态分布概率的重要性重排经验的 TD 学习方法，使用无需概率密度函数的估算器来指定优先级权重，将此方法应用于两种竞争性强的学习算法（软演员 - 评论家（SAC）和 Twin Delayed 深度确定性策略梯度（TD3）），在一系列 OpenAI gym 任务中实现了比其他基线方法更高的样本复杂度。

Jun, 2020

利用重要性权重进行子集选择

该研究提出了一种基于重要性抽样的子集选择算法，能够在批处理环境中提高模型训练的性能，在可用数据批次中选择样本。该算法在七个公共数据集上的性能明显优于其他子集选择算法，并且在标签信息不可用的主动学习环境中具有竞争力。研究还对其重要权重方法进行了初步的理论分析，证明了泛化和采样率的限制。

Jan, 2023