Sep, 2022

具有不变因果特征的世界模型对比无监督学习

PDF
TL;DR运用不变性原则的世界模型，通过对比非相关部分或观察风格的差异性，使用对比无监督学习，学习不变因果特点，提出了一个新的改进型辅助任务方法，取得了 iGibson 数据集上优秀的表现
world modelcausal featuresunsupervised learningreinforcement learninginvariance principle
发现论文，激发创造
  • ReCoRe：世界模型的正则化对比表示学习

    通过对比无监督学习和介入不变正则化的使用，提出了一种学习不变特征的世界模型，以改善强化学习在视觉导航等日常任务中的限制，并在 iGibson 基准测试中取得显著的性能提升。

    Dec, 2023

  • 通过不变因果机制进行表示学习

    自我监督学习是一种通过前馈未标记的数据来预先训练表示的策略，本文提出了一个新的自我监督目标函数 ReLIC，通过对预训练期间使用的代理分类器的显式不变性约束来更有效地利用数据增强，提高了泛化性能，实验表明 ReLIC 在图像分类和游戏领域都具有较好的表现。

    Oct, 2020

  • 对比学习中不应该进行对比的内容

    本文提出了一种对比学习方法，该方法不需要先前知道特定于任务的不变性，使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果，并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。

    Aug, 2020

  • 将对比学习与动态模型集成，用于从图像中进行强化学习

    本文提出了一种自监督表征学习方法，它将对比学习与动态模型相结合，以协同地实现三个目标，即通过最大化信息 NCE 界来诱导线性预测嵌入，通过显式学习非线性转换模型进一步提高学习嵌入的马尔可夫性以及最大化下一嵌入的互信息，其基于当前动作和当前状态的两个独立增强的嵌入预测，实验表明，与基于对比学习或重建的现有方法相比，我们的方法在样本效率和泛化性能上都取得了更好的结果。

    Mar, 2022

  • GCISG: 引导式因果不变学习以提高从合成到真实场景的泛化能力

    通过使用因果框架对数据生成进行表征，提出了因果不变性学习的方法，该方法有助于学习抗干扰风格变量的样式不变表示，从而提高了 syn-to-real 的泛化性能。此外，还提出了一种实用的特征蒸馏方法，可以避免遗忘真实领域的语义知识。该方法在图像分类和语义分割等任务上取得了最新的成果。

    Aug, 2022

  • 因果视角下的图形对比不变性学习

    本文从因果关系的角度研究了图对比学习（Graph Contrastive Learning），发现传统的图对比学习由于含有非因果信息而不能很好地学习不变表示。为了解决这个问题并促使当前的图对比学习方法学习更好的不变表示，我们提出了一种新的图对比学习方法，通过引入谱图增强来模拟对非因果因素的干预，并设计了不变性目标和独立性目标来更好地捕捉因果因素。实验结果表明我们的方法在节点分类任务上的有效性。

    Jan, 2024

  • 弱监督因果表示学习

    本文基于一组弱监督条件，通过隐式潜因果模型的方式，为无标签不完整数据集中的图像等数据探究了因果结构和因果变量的识别方法。

    Mar, 2022

  • 非线性不变风险最小化：一种因果方法

    提出了一种不变因果表示学习 (iCaRL) 方法，通过利用广义指数族分布得出数据表示，可以在非线性场景中实现超出分布的泛化，并发现目标的全部直接原因，针对合成和真实数据集提出性能优于基线方法的实验结果。

    Feb, 2021

  • 因果学习的生成式干预

    介绍了一种学习鲁棒视觉表示的框架，该框架能够推广到新的视点、背景和场景环境，并利用干扰因素以制造人为干预特征，从而学习更加符合基础因果关系的鲁棒表示方法。实验证明，该方法提升了多个需要超出训练分布的数据集的性能，在从 ImageNet 到 ObjectNet 数据集进行无分布推广时展现出最先进的性能。

    Dec, 2020

  • 为什么自监督模型能够迁移？—— 探究不变性在下游任务中的影响

    本文研究了自监督学习在图像中表征学习的应用，通过对比实例匹配方法，我们发现不同的视觉任务需要不同的数据扩充策略，并且使用具有互补不变性的表征方法可以提高各种下游任务的表现。

    Nov, 2021