ICMLMay, 2024

跨领域离线强化学习中的数据过滤对比表示

PDF
TL;DR本文提出了一种基于表征的方法来测量领域差距，并通过对不同领域进行过渡采样来学习表征，从而解决合并两个领域数据导致性能下降的问题。通过基于表征的方法筛选数据，我们的实证结果表明，我们的方法仅使用目标数据的 10％就能以 89.2％的性能达到 100％目标数据集与最先进方法的性能。
发现论文，激发创造
  • 捕获表征不匹配的方式进行跨领域策略自适应

    本研究主要关注在强化学习中存在动力学不匹配的问题，提出了一种基于解耦表示学习的方法，通过在目标领域中进行表示学习并测量与源领域的过渡的表示差异，将表示差异作为奖励惩罚项，该方法在具有运动学和形态学不匹配的环境中表现出良好的性能。

    May, 2024

  • 价值引导数据过滤的跨域策略适应

    该研究提出了一种基于价值一致性的在线动态适应学习算法 —— 价值引导数据过滤算法（VGDF）。实验结果表明，与之前的方法相比，在不同领域的各种环境中，VGDF 算法在策略概括上表现更为优异。

    May, 2023

  • 离线动态强化学习：通过领域分类器进行转移训练

    我们提出了一种简单、实用和直观的强化学习领域自适应方法，通过修改奖励函数，使用辅助分类器来区分源域和目标域，对源域中不可能出现的状态进行惩罚，适用于连续状态和动作的域，可扩展至高维任务。

    Jun, 2020

  • 在多领域数据集上训练的有监督对比学习所学到的表示的可迁移性

    使用多领域数据集的超级对比学习模型相比使用交叉熵模型，平均在 7 个下游数据集上表现更好，结果显示其学习到的表示更具鲁棒性且可跨领域转移。

    Sep, 2023

  • 通过对比学习实现离线元强化学习的稳健任务表示

    在离线元强化学习的背景下，提出了一种对抗学习框架，用于学习对行为策略不敏感的任务表示，并通过对各种离线元强化学习基准测试的实验，展示了该方法相比之前的方法在行为策略的泛化能力方面的优越性。

    Jun, 2022

  • 跨领域情感分析的纯对比学习

    本文探索对跨域情感分析任务采用对比学习方法，提出了一种修改后的对比目标，并在同一类的句子表示之间拉近，不同类的之间推远的方法，实验证明我们的模型在跨域和多域情感分析任务中都取得了最先进的性能，同时，可视化结果展示了知识转移的有效性，并通过对抗测试验证了模型的鲁棒性。

    Aug, 2022

  • 基于数据驱动的离线决策：不变表示学习

    通过域适应的角度，提出了对离线数据驱动的决策制定进行建模的方法，称为不变目标模型，用于解决分布偏移问题，并实现了学习性能和分布偏移之间的自然权衡。

    Nov, 2022

  • 基于相似度的知识转移用于跨领域强化学习

    通过开发半监督对齐损失来匹配不同空间的一组编码器 - 解码器，本研究研究了如何衡量跨领域强化学习任务之间的相似性，以选择能够提高学习代理性能的知识源。实验结果表明，在各种 Mujoco 控制任务中，我们的方法能够有效地选择和传递知识，而无需与专家策略相匹配、配对或收集数据的监督。

    Dec, 2023

  • 对比领域自适应

    本文探讨了将对比自监督学习扩展到领域适应上述情形的方法，通过无标签的正负样本比较学习，进一步识别和排除潜在可能误判的负面效应，以提高领域适应任务中的性能表现。

    Mar, 2021

  • 语义分割的无监督对比域自适应

    通过对比学习实现特征对齐，提出了一种跨领域适应的标签扩展方法，结果表明，我们的方法在 Cityscapes 数据集上的表现始终优于最先进的方法。

    Apr, 2022