Oct, 2019

PAC-Bayesian 无对照非监督表示学习

PDF
TL;DR本文介绍了对无标签数据进行特征提取的一种技术 Contrastive unsupervised representation learning (CURL)，论文扩展了 Arora 等人 2019 年的工作，提出了 PAC-Bayesian generalization bounds 来处理非 iid 情况，并制定了一种新的表示学习算法，实验结果表明此算法具有不俗的精度和泛化性能。
发现论文，激发创造
  • CURL：强化学习中的对比无监督表示学习

    本文提出了一种基于对比学习的无监督表征学习方法 CURL，其可以从原始像素中提取高层特征，并在此基础上进行偏置控制，在 DeepMind Control Suite 和 Atari Games 中均实现了比先前基于像素的方法更好的性能表现，在 10 万个环境交互和环境步骤基准测试中分别表现出了 1.9 倍和 1.2 倍的性能增益。在 DeepMind Control Suite 中，CURL 是第一个能够与使用基于状态特征的方法几乎匹配样本效率的基于图像的算法。我们的代码已开源，并可在此 https URL 下载。

    Apr, 2020

  • 持续无监督表征学习

    本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

    Oct, 2019

  • MetaCURL: 非平稳凹效用强化学习

    我们通过元算法和专家集成的方法在非平稳环境（变换的损失和概率转换）中探索在线学习在无环节马尔可夫决策过程中的应用，重点研究了处理凸性性能准则的经典强化学习的扩展问题 CURL。我们的方法能够在部分信息下，不需要先验的 MDP 更改知识，实现最优的动态遗憾，处理了全面对抗的损失而不仅仅是随机的。我们认为我们处理专家管理非平稳性的方法对强化学习社区具有一定的利益。

    May, 2024

  • 塑性优化的互补网络用于无监督连续学习

    通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

    Sep, 2023

  • SimCURL: 从指令序列中学习简单对比用户表示

    SimCURL 是一种简单而有效的对比自我监督深度学习框架，用于从未标记的命令序列中学习用户表示。我们将其应用于半十亿命令的真实世界数据集上，相较于现有方法，在经验和专业分类等下游任务中显著提升。

    Jul, 2022

  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018

  • 逆凹效用增强学习即逆博弈论

    我们提出了新的逆反强化学习问题的理论框架，将 concave function 应用于 CURL，并创造性地将其等效于 mean-field games 的逆博弈理论问题，从而揭示了 CURL 问题与传统逆强化学习不同的特性和挑战。

    May, 2024

  • M2CURL: 机器人操作的自主监督表征学习实现高效的多模态强化学习

    提出了一种名为 M2CURL 的多模态对比无监督强化学习方法，该方法可以有效整合不同的观察模态，通过学习高效的表征进而提高强化学习算法的稳健性和样本效率。该方法在触觉模拟环境中得到了验证，相较于标准的强化学习算法，其学习效率显著提高，表现为更快的收敛速度和更高的累积奖励。

    Jan, 2024

  • 对比无监督表示学习的理论分析

    本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

    Feb, 2019

  • 对比吸引与对比排斥在表征学习中的应用

    本文提出一种双重对比学习策略（CACR），利用对比吸引和对比排斥机制，在无监督数据集上实现图像表示的改进和鲁棒性提高，特别是在数据集不太平衡时表现良好。

    May, 2021