自监督学习分离不变等变表示

Feb, 2023

Self-supervised learning of Split Invariant Equivariant representations

Quentin Garrido, Laurent Najman, Yann Lecun

TL;DR本文介绍了一种基于超网络的预测器，结合了不变和等变的表示形式，以学习更丰富的表示，进而在等变性相关任务中获得显著的性能提升。同时，本文还介绍了一个名为 3DIEBench 的数据集，其中包含来自 55 个类别的 3D 模型渲染超过 250 万幅图像，提供了完全可控的对象变换。研究者希望这两个工具能够在更复杂的场景中实现更好的无监督学习效果。

Abstract

Recent progress has been made towards learning invariant or equivariant representations with self-supervised learning. While invariant methods are evaluated on large scale datasets, equivariant ones are evaluated in smaller, more controlled, settings. We aim at bridging the gap between

self-supervised learning equivariant representations 3d models hypernetworks latent space

发现论文，激发创造

无监督学习群不变和等变表示

本文针对深度学习的无监督学习，将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略，其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时，网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件，并针对旋转，平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验，测试了我们方法的有效性和鲁棒性。

Feb, 2022

胶囊网络投影器是等变和不变学习器

通过使用 Capsule Networks (CapsNets) 构建不变 - 等变自监督架构，提出了 CapsIE (Capsule Invariant Equivariant Network) 的目标函数，以提高等变任务的下游性能，具有更高的效率和更少的网络参数。在 3DIEBench 数据集上，CapsNets 能学习出复杂且普遍化的表示，相比之前的 CapsNet 基准数据，达到最先进的性能，超越了监督模型的性能表现。

May, 2024

等变对比学习

本文介绍了一种新的自我监督学习框架 E-SSL，它扩展了现有自我监督方法，并提出了一种新的目标函数以实现对输入的等变性要求，旨在提高表示的语义质量。该方法在多个计算机视觉基准数据集上进行验证，并在光子学领域的回归问题中展示了其实用性。

Oct, 2021

等变神经渲染

该论文提出了一种从图像中直接学习神经场景表示的框架，通过引入一种强制要求该场景表示对于 3D 变换等变的损失函数，使得我们可以实时推断和渲染场景，并在标准 ShapeNet 基准测试上获得了很好的结果。

Jun, 2020

稳健等变成像：一种完全无监督的框架，用于从噪声和部分测量中学习成像

本文提出了一种称为 “稳健等变成像”（REI）的框架，利用 Stein 的无偏风险估计器（SURE）实现对噪声具有鲁棒性的全面无人监督训练，从而在对抗噪声的情况下提高了线性和非线性反问题的性能表现，为深度网络的稳健无人监督成像铺平了道路。

Nov, 2021

CIPER: 使用对比学习和预测学习结合不变和等变表示

本研究通过 Contrastive Invariant and Predictive Equivariant Representation learning (CIPER) 方法，利用共享编码器和两个不同的输出头，旨在同时通过不变性和等变性目标学习表示。CIPER 在静态图像任务和时间增强图像数据集上都表现出较好的性能，特别是当下游任务需要编码与数据增强相关的信息时。

Feb, 2023

自监督视觉表征学习的传递不变性

文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

Aug, 2017

解释等变表示

在这篇论文中，我们展示了在使用潜在表示时应考虑的等变模型对归纳偏好的作用，并表明不考虑归纳偏好会导致下游任务的性能降低，相反，通过使用潜在表示的不变投影来有效地考虑归纳偏好，我们提出了选择这种投影的原则，并通过两个常见的例子展示了这些原则的影响：首先，我们研究了用于分子图形生成的置换等变变分自编码器；在这里，我们展示了可以设计一种不变投影，在结果不变表示中没有信息损失。接下来，我们研究了用于图像分类的旋转等变表示；在这里，我们说明了如何使用随机不变投影来获得一个在保留大量信息的不变表示。在这两种情况下，对不变潜在表示的分析证明优于它们的等变对应物。最后，我们证明了等变神经网络中记录的现象在通过数据增强鼓励不变性的标准神经网络中也存在。因此，虽然有经验的等变模型开发人员可能已经知道这些歧义，但我们将这些知识和处理这些歧义的有效工具提供给更广泛的社区。

Jan, 2024

通过诱导和限制表示进行等变单视角姿态预测

从二维图像中学习关于三维世界的知识是计算机视觉中的一个基本问题，本文提出了一种学习三维表示的算法，满足几何一致性约束，并在三个姿态预测任务中取得了 SOTA 结果。

Jul, 2023

物体标志表示的等变和不变学习

该论文提出了一种将基于实例和空间差异的对比学习相结合的简单而有效的方法，在训练的中间层次中表示对象明显地预测对象地标，通过空间对比学习进一步提高匹配和少量样本标志物回归任务的性能。该方法优于现有同类方法，并在标志物学习的标准基准测试以及该论文提出的新挑战上得到了验证。

Jun, 2020