变换编码：等变表示的简单目标
本文针对深度学习的无监督学习，将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略，其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时，网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件，并针对旋转，平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验，测试了我们方法的有效性和鲁棒性。
Feb, 2022
本文主要介绍了强化对比学习得到的表示的不变性的方法，通过引入新的正则化器、特征平均法和可微分生成过程，对旋转等变性进行限制和控制，提高了表示在后续任务中的表现和鲁棒性。
Oct, 2020
使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL (n, R)，以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
Oct, 2023
本文提出了一种自我监督的学习方法，通过向嵌入空间添加额外的几何结构以获得更有意义的数据差异性表示，并引入等变目标使旋转操作在球面嵌入空间上的表现更佳，从而取得了更好的性能表现。
Jun, 2023
本文提出了 LieTransformer，这是一种由 LieSelfAttention 层组成的网络结构，可以处理不同类型的 Lie 群及其离散子群的不变性，并通过实验表现出一定的竞争力，可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。
Dec, 2020
该文利用群表示论和可线性转换的可视化表示概念，证明了任何这种表示都等价于基本不可约表示的组合，并表明在受限条件下，不可约表示是相互独立的。在部分可观察性下，需要对可转换线性的潜在表示执行推理。此想法在利用三维转动群 SO（3）的潜在表示的旋转 NORB 对象的模型中得到了演示。
Dec, 2014
提出了神经傅里叶变换（NFT）的概念，它是一种无需显式知道组在数据上的作用方式就可以学习组的潜在线性作用的通用框架。论文通过实验结果展示了 NFT 在不同场景下的应用。
May, 2023
本文研究不同学习目标下深度神经网络中单个标记的表现形式和学习的特征空间结构如何在各层之间演变，通过经典相关性分析和互信息估计研究信息如何在 Transformer 的不同层之间流动，并说明此流程如何取决于学习目标的选择。
Sep, 2019
实际几何和 3D 视觉任务充满了令人困惑的对称性，该论文介绍了一种名为神经等距映射的自动编码器框架，它学习将观察空间映射到通用的潜在空间，在这个空间中，当相应的观察在世界空间中有几何关系时，编码是由等距映射相关的。这种方法形成了一个有效的自监督表示学习的基础，并且我们证明了一个在预训练的潜在空间中操作的简单暗箱神经网络能够达到与精心设计的手工网络相媲美的结果，以处理复杂的非线性对称性。此外，等距映射捕捉了世界空间中相应变换的信息，我们展示了这使我们能够直接从相邻视图的编码之间的映射的系数为相机姿态回归。
May, 2024