通过不变因果机制进行表示学习

Oct, 2020

Representation Learning via Invariant Causal Mechanisms

Jovana Mitrovic, Brian McWilliams, Jacob Walker, Lars Buesing, Charles Blundell

TL;DR自我监督学习是一种通过前馈未标记的数据来预先训练表示的策略，本文提出了一个新的自我监督目标函数 ReLIC，通过对预训练期间使用的代理分类器的显式不变性约束来更有效地利用数据增强，提高了泛化性能，实验表明 ReLIC 在图像分类和游戏领域都具有较好的表现。

Abstract

self-supervised learning has emerged as a strategy to reduce the reliance on costly supervised signal by pretraining representations only using unlabeled data. These methods combine heuristic proxy classification tasks with data augmentations and have achieved significant success, but

self-supervised learning representation learning invariant causal mechanisms data augmentations generalization

发现论文，激发创造

稳定且因果推理用于区分自监督深度视觉表示

从因果关系的角度分析了有问题的自我监督方法，并提出了解决方案，通过在推理过程中应用线性变换来提高时间效率。

Aug, 2023

预测已知信息有助于自证自学

这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

Aug, 2020

弱监督因果表示学习

本文基于一组弱监督条件，通过隐式潜因果模型的方式，为无标签不完整数据集中的图像等数据探究了因果结构和因果变量的识别方法。

Mar, 2022

揭开对比自监督学习的神秘面纱：不变量，数据增强和数据集偏差