Apr, 2020

CURL：强化学习中的对比无监督表示学习

PDF
TL;DR本文提出了一种基于对比学习的无监督表征学习方法 CURL，其可以从原始像素中提取高层特征，并在此基础上进行偏置控制，在 DeepMind Control Suite 和 Atari Games 中均实现了比先前基于像素的方法更好的性能表现，在 10 万个环境交互和环境步骤基准测试中分别表现出了 1.9 倍和 1.2 倍的性能增益。在 DeepMind Control Suite 中，CURL 是第一个能够与使用基于状态特征的方法几乎匹配样本效率的基于图像的算法。我们的代码已开源，并可在此 https URL 下载。
curlcontrastive learningunsupervised representationsreinforcement learningoff-policy control
发现论文，激发创造
  • PAC-Bayesian 无对照非监督表示学习

    本文介绍了对无标签数据进行特征提取的一种技术 Contrastive unsupervised representation learning (CURL)，论文扩展了 Arora 等人 2019 年的工作，提出了 PAC-Bayesian generalization bounds 来处理非 iid 情况，并制定了一种新的表示学习算法，实验结果表明此算法具有不俗的精度和泛化性能。

    Oct, 2019

  • M2CURL: 机器人操作的自主监督表征学习实现高效的多模态强化学习

    提出了一种名为 M2CURL 的多模态对比无监督强化学习方法，该方法可以有效整合不同的观察模态，通过学习高效的表征进而提高强化学习算法的稳健性和样本效率。该方法在触觉模拟环境中得到了验证，相较于标准的强化学习算法，其学习效率显著提高，表现为更快的收敛速度和更高的累积奖励。

    Jan, 2024

  • 持续无监督表征学习

    本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

    Oct, 2019

  • 深度 CUPRL: 用于无人机无地图导航的深度图像对比无监督优先表示强化学习

    本研究提出了一种新的方法，使用深度图估计来教授强化学习代理在无人机的无地图导航中执行任务，并结合强化学习和对比学习以应对物理状态 RL 策略效率低下的问题。结果分析表明，我们的 Depth-CUPRL 方法在无地图导航方面的决策制定方面非常有效，并且优于基于像素的方法。

    Jun, 2022

  • MetaCURL: 非平稳凹效用强化学习

    我们通过元算法和专家集成的方法在非平稳环境（变换的损失和概率转换）中探索在线学习在无环节马尔可夫决策过程中的应用，重点研究了处理凸性性能准则的经典强化学习的扩展问题 CURL。我们的方法能够在部分信息下，不需要先验的 MDP 更改知识，实现最优的动态遗憾，处理了全面对抗的损失而不仅仅是随机的。我们认为我们处理专家管理非平稳性的方法对强化学习社区具有一定的利益。

    May, 2024

  • SimCURL: 从指令序列中学习简单对比用户表示

    SimCURL 是一种简单而有效的对比自我监督深度学习框架，用于从未标记的命令序列中学习用户表示。我们将其应用于半十亿命令的真实世界数据集上，相较于现有方法，在经验和专业分类等下游任务中显著提升。

    Jul, 2022

  • 逆凹效用增强学习即逆博弈论

    我们提出了新的逆反强化学习问题的理论框架，将 concave function 应用于 CURL，并创造性地将其等效于 mean-field games 的逆博弈理论问题，从而揭示了 CURL 问题与传统逆强化学习不同的特性和挑战。

    May, 2024

  • 强化学习中无监督表示学习特征分离的重要性

    我们提出了一种新的 URL 框架，通过在潜空间中解相关特征，在因果预测未来状态的同时增加潜空间的维数，从而有效地学习预测表示，解决了表示坍塌的问题，大大提高了基准测试的样本效率。

    Jun, 2023

  • 针对具身智能的好奇心表示学习

    通过提出一个奇思妙想的自学习框架，结合强化学习探索数据并训练视觉表示模型，使得机器能够从未标注的大规模图片数据中学习，得到一种强化学习的样本自提取方式，并在实际应用中展现了很好的转移性能。

    May, 2021

  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018