文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

Aug, 2017

本论文提出了一种新的训练机制，同时注重等变性和不变性，使得模型能够充分学习具有独立性的特征以及几何变换的结构，进而能够在具有少量数据的情况下很好地推广。通过引入自我监督的蒸馏目标，本文的方法即使不使用知识蒸馏，在五个流行数据集上的表现也能超过目前最先进的 few-shot learning 方法。

Mar, 2021

本文介绍了一种新的自我监督学习框架E-SSL，它扩展了现有自我监督方法，并提出了一种新的目标函数以实现对输入的等变性要求，旨在提高表示的语义质量。该方法在多个计算机视觉基准数据集上进行验证，并在光子学领域的回归问题中展示了其实用性。

Oct, 2021

利用学习对称嵌入网络（SENs）的方法能够促进等变网络应用于具有复杂对称性表示的数据，并可能相对于全等变和非等变基线产生精度和泛化方面的改进。

Apr, 2022

TiCo是一种基于自监督学习的视觉表示学习方法，通过最大化同一图像不同畸变版本的嵌入之间的一致性来使编码器产生具有变换不变性的表示，并通过正则化来避免平凡解。通过共同最小化转换不变性损失和协方差对比损失，获得能够产生有用表示用于下游任务的编码器，这种方法提供了一种视觉嵌入方法的新思路。

Jun, 2022

本论文提出了一种基于Transformer的DUET方法，通过自我监督的多模态学习范式，整合了预训练语言模型（PLMs）的潜在语义知识，实现零样本学习并取得了最先进的性能表现。

Jul, 2022

本文介绍了一种基于超网络的预测器，结合了不变和等变的表示形式，以学习更丰富的表示，进而在等变性相关任务中获得显著的性能提升。同时，本文还介绍了一个名为3DIEBench的数据集，其中包含来自55个类别的3D模型渲染超过250万幅图像，提供了完全可控的对象变换。研究者希望这两个工具能够在更复杂的场景中实现更好的无监督学习效果。

Feb, 2023

直接将一组不变性直接融入表示中，构建一种不变分量的产品空间，旨在解锁合并、拼接和重用不同神经模块的应用，并观察到分类和重建任务中的一致潜在相似性和下游性能改进。

Oct, 2023

通过使用Capsule Networks (CapsNets) 构建不变-等变自监督架构，提出了CapsIE (Capsule Invariant Equivariant Network) 的目标函数，以提高等变任务的下游性能，具有更高的效率和更少的网络参数。在3DIEBench数据集上，CapsNets能学习出复杂且普遍化的表示，相比之前的CapsNet基准数据，达到最先进的性能，超越了监督模型的性能表现。

May, 2024

通过关注上下文，我们提出了一种能够对不同变换具有适应性的通用表示学习算法，该算法通过学习等变性而不是不变性，使模型能够在给定少量示例作为上下文时，将所有相关特征编码为通用表示，并在等变性相关任务上展现出明显的性能提升。

May, 2024