无监督学习群不变和等变表示

Feb, 2022

Unsupervised Learning of Group Invariant and Equivariant Representations

Robin Winter, Marco Bertolini, Tuan Le, Frank Noé, Djork-Arné Clevert

TL;DR本文针对深度学习的无监督学习，将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略，其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时，网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件，并针对旋转，平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验，测试了我们方法的有效性和鲁棒性。

Abstract

equivariant neural networks, whose hidden features transform according to representations of a group G acting on the data, exhibit training efficiency and an improved generalisation performance. In this work, we extend group invariant and equivariant representation learning to the fiel

equivariant neural networks unsupervised deep learning group-invariant representation group action encoder-decoder framework

发现论文，激发创造

解释等变表示

在这篇论文中，我们展示了在使用潜在表示时应考虑的等变模型对归纳偏好的作用，并表明不考虑归纳偏好会导致下游任务的性能降低，相反，通过使用潜在表示的不变投影来有效地考虑归纳偏好，我们提出了选择这种投影的原则，并通过两个常见的例子展示了这些原则的影响：首先，我们研究了用于分子图形生成的置换等变变分自编码器；在这里，我们展示了可以设计一种不变投影，在结果不变表示中没有信息损失。接下来，我们研究了用于图像分类的旋转等变表示；在这里，我们说明了如何使用随机不变投影来获得一个在保留大量信息的不变表示。在这两种情况下，对不变潜在表示的分析证明优于它们的等变对应物。最后，我们证明了等变神经网络中记录的现象在通过数据增强鼓励不变性的标准神经网络中也存在。因此，虽然有经验的等变模型开发人员可能已经知道这些歧义，但我们将这些知识和处理这些歧义的有效工具提供给更广泛的社区。

Jan, 2024

逆问题的等变神经网络

本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

Feb, 2021

变换编码：等变表示的简单目标

通过简单的目标函数实现深度表示学习的同变深度嵌入，使用不同 Lie 群的变换编码目标实现表示的分解和解缠缠绕，并应用于各种下游任务，包括强化学习。

Feb, 2022

群等变生成对抗网络

该研究采用群等变卷积网络采用显式诱导对称性先验，有效提高生成对抗网络中条件综合的表现，在对称成像数据集方面表现尤为显著。

May, 2020

等变神经网络的李群分解

使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL (n, R)，以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。

Oct, 2023

自监督学习分离不变等变表示

本文介绍了一种基于超网络的预测器，结合了不变和等变的表示形式，以学习更丰富的表示，进而在等变性相关任务中获得显著的性能提升。同时，本文还介绍了一个名为 3DIEBench 的数据集，其中包含来自 55 个类别的 3D 模型渲染超过 250 万幅图像，提供了完全可控的对象变换。研究者希望这两个工具能够在更复杂的场景中实现更好的无监督学习效果。

Feb, 2023

G-RepsNet: 任意矩阵群等变网络的快速通用构建

使用张量多项式表示特征的轻量级等变网络 G-RepsNet 是一种有效的深度学习方法，其在组等变性和各种任务上表现出竞争力，包括图像分类、N 体预测和 PDE 求解。

Feb, 2024

群等变神经网络的理论方面

本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

Apr, 2020

神经网络对不变映射的通用逼近

我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

Apr, 2018

关注组等变卷积网络

提出了一种基于视觉注意力机制的等变卷积方法 AGECN，解决了对称模式下位置和姿态关系不明确的问题，实现了对图像数据集的高效表征。

Feb, 2020