本文提出了一个新颖的具有转换不变性的特征学习框架,将线性转换纳入特征学习算法中,可应用于无监督学习方法,如自动编码器或稀疏编码,证明在 MNIST 变化,CIFAR-10 和 STL-10 等图像分类基准数据集上具有优越的分类性能并在 TIMIT 数据集上实现了最先进的电话分类任务的结果。
Jun, 2012
本文提出了一种对比学习方法,该方法不需要先前知道特定于任务的不变性,使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果,并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。
Aug, 2020
本文介绍了将对比学习扩展到更广泛的数据变换集合,并提出了一种满足所有对比公式要求的实用构造,其中所有噪声对比公式的组件都被表述为一定的广义数据变换选择(GDTs),通过对视频数据进行分析,得出了在学习有效视频表示时对某些变换具有不变性和对其他变换具有特征性的关键作用,这一结果大幅改善了多个学习基准,甚至超过了监督预训练。
Mar, 2020
本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法,并通过多个基准测试表明所提出的方法可以获取到不变表示,从而提高模型的泛化能力。
May, 2017
本文提出了一种基于自监督学习的泛化表征学习方法,利用不同 iable invariance hyper-parameters 控制表示中编码的不变性,并且通过梯度下降学习线性 readout 和任务特定的不变性要求,无需特定任务的预训练,从而实现了单一表征学习在多种任务中的多样化应用。
Feb, 2023
本文研究对象识别中不变表示的泛化性,经过广泛实验,我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性,因此使不变性成为有限资源环境中训练的理想属性。
Apr, 2023
基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态,从而提高计算机视觉中的准确性和鲁棒性。
Sep, 2023
通过简单的目标函数实现深度表示学习的同变深度嵌入,使用不同 Lie 群的变换编码目标实现表示的分解和解缠缠绕,并应用于各种下游任务,包括强化学习。
Feb, 2022
本文提出了一种自我监督的学习方法,通过向嵌入空间添加额外的几何结构以获得更有意义的数据差异性表示,并引入等变目标使旋转操作在球面嵌入空间上的表现更佳,从而取得了更好的性能表现。
Jun, 2023
本文研究了自监督学习在图像中表征学习的应用,通过对比实例匹配方法,我们发现不同的视觉任务需要不同的数据扩充策略,并且使用具有互补不变性的表征方法可以提高各种下游任务的表现。
Nov, 2021