离线强化学习（RL）在从固定数据集中学习特定任务策略方面显示出有希望的结果。然而，成功的离线 RL 往往严重依赖于给定数据集的覆盖范围和质量。在特定任务的数据集有限的情况下，一种自然的方法是通过来自其他任务的数据集改进离线 RL，即进行多任务数据共享（MTDS）。然而，直接共享来自其他任务的数据集会加剧离线 RL 中的分布偏移。在本文中，我们提出了一种基于不确定性的 MTDS 方法，该方法在不进行数据选择的情况下共享整个数据集。根据基于集合的不确定性量化，我们在共享的离线数据集上执行悲观值迭代，为单任务和多任务离线 RL 提供了统一框架。我们进一步提供了理论分析，表明我们的方法的最优性差距仅与共享数据集的预期数据覆盖相关，从而解决了数据共享中的分布偏移问题。在实证方面，我们发布了一个 MTDS 基准，并从三个具有挑战性的领域收集了数据集。实验结果显示，我们的算法在具有挑战性的 MTDS 问题中优于先前的最先进方法。

Apr, 2024

MODA 是一个多任务线下强化学习方法，通过对比数据共享来解决线下强化学习中的数据稀缺性和异质性问题，并且利用集成动力学模型和生成对抗网络构建鲁棒的马尔可夫决策过程，显著提升了城市决策过程。

Jun, 2024

本论文提出了保守型 Q-learning（CQL），通过学习保守型 Q 函数以得到预期值，有效地解决了离线强化学习（offline RL）中的价值估计问题，从而提高了学习性能。在实验中，我们将 CQL 应用于复杂和多模态数据分布，证明其在离线 RL 方法中的优越性，能学习到比现有离线 RL 方法 2 到 5 倍更高的最终回报的策略

Jun, 2020

本文介绍了一种名为自适应策略学习的框架，可用于离线学习与在线学习的融合，并通过采用乐观 / 贪心和悲观更新策略来提高离线数据集的质量，进而通过将值或基于策略的 RL 算法嵌入其中来实现。在各种连续控制任务上进行的实验表明，该算法可以在离线数据集质量较差的情况下实现高样本效率。

Mar, 2023

本文提出了一种混合离线元强化学习算法，能够使用有奖离线数据来元训练自适应策略，并通过收集额外的非监督在线数据来补偿分布偏移，这种算法比以前的元 RL 方法在模拟机器人运动和操纵任务中表现更为优异。

Jul, 2021

通览全文后，我们发现：利用前后表示法（FB）及保守策略，即使在小数据集上训练，零样本强化学习在各个数据集、领域和任务中可以比纯 FB 性能高达 150%，且保守策略算法表现不亚于任务特定算法。

Sep, 2023

该研究探究了如何在半监督的情况下，利用无奖励数据进行离线强化学习，并通过提出的 Provable Data Sharing 算法，取得了显著的改善，从而成功地优化了自监督强化学习模型，提高了模型性能。

Feb, 2023

我们研究了离线强化学习中的表示转移问题，提出了一种算法来计算学习表示的点态不确定性度量，并通过扩展数据的数据依赖上界证明了针对目标任务的学习策略的次优性。我们的算法利用源任务的集体探索来解决现有离线算法在一些点上覆盖不足的问题，并在需要完全覆盖的富观测马尔可夫决策过程上进行了实证评估，展示了惩罚和量化学习表示中的不确定性的益处。

Feb, 2024

提出了一种适用于基于数字孪生的无线网络的离线多智能体保守分位回归 (MA-CQR) 方案，通过集成分布式强化学习和保守 Q 学习来解决环境的内在的随机性不确定性和数据有限性导致的认识不确定性。在无人机网络中应用该方案，展示了其对轨迹规划问题的优势。

Feb, 2024

当前强化学习通常受到需要大量数据来学习成功策略的限制。离线强化学习旨在通过使用由不同行为策略收集到的转换来解决这个问题。我们提出了一种基于对比预测编码的方法，该方法识别了离线数据集中的非稳定性，在训练策略时对其进行考虑，并在评估过程中进行预测。我们分析了我们提出的方法，并展示了它在简单的连续控制任务和具有挑战性的高维运动任务中的良好表现。我们证明了我们的方法往往达到了最优性能，并且比基线方法表现更好。

May, 2024