本文介绍了 equi-tuning，一种新颖的微调方法，将（潜在非等变的）预训练模型转换为群等变模型，并在预训练和等变模型的特征表示之间产生最小的 L2 损失。我们提出了 equi-tuning 的应用，如图像分类、语言的组成泛化以及自然语言生成的公平性，并为 NLG 中的公平性提供了一种新的群论定义，这种定义的有效性通过测试它与标准实证方法的 NLG 中的公平性相比得到证明。

Oct, 2022

提供了对构建特定于模型的群不变网络的有效设计，包括 IS 层，用于满足对称不变性约束，并给出了两个相关问题的解决方案，并通过实验证明其具有竞争力。

Oct, 2023

本研究提出了一种新的共同关注等变神经网络，它不仅能够保留输入的结构信息，而且能够注意到数据中同时出现的变换，并将其泛化到由多个对称组成的群上，实现更好的目标识别效果。

Nov, 2019

通过使用规范化网络和数据相关的先验知识，可以使大型预训练模型实现等变性，提高计算效率并增强对数据旋转等确定性变换的鲁棒性。

Oct, 2023

本研究提出了一种新的不变和等变深度神经网络的泛化误差上界，并开发了一个称为 “商特征空间” 的方法来描述其对于一些属性的作用，证明了 “商特征空间” 的容积可以描述泛化误差并进一步表明不变性和等变性显著改善了误差上界的主导项，同时讨论了不变性 DNN 的表达能力并证明了其能够实现最佳逼近率，并通过实验结果验证了理论结果。

Oct, 2019

本论文提出了一种新的训练机制，同时注重等变性和不变性，使得模型能够充分学习具有独立性的特征以及几何变换的结构，进而能够在具有少量数据的情况下很好地推广。通过引入自我监督的蒸馏目标，本文的方法即使不使用知识蒸馏，在五个流行数据集上的表现也能超过目前最先进的 few-shot learning 方法。

Mar, 2021

本研究通过研究线性模型，证明了当目标分布与紧致群相关时，使模型不变 / 等变能够改善泛化性能，并揭示了泛化，训练样本数量和群作用属性之间的有趣关系。

Feb, 2021

使用 Lie 莱标甲，文章研究了几百个预训练模型，证明即使在没有明确建构且具有对称性的设计的情况下，Transformers 也可以比 CNNs 更具有等变性。

Oct, 2022

在自监督音频 - 视觉表示学习方面的最新进展中，引入了 EquiAV 框架，通过利用等变性来实现音频 - 视觉对比学习，并通过共享的基于注意力的转换预测器实现特征聚合，从而提供了稳健的监督。EquiAV 在各种音频 - 视觉基准测试中优于之前的工作。

Mar, 2024

通过引入新方法实现了深度学习中与架构无关的等变性，比传统的等变架构方法和现有的与架构无关的方法更高效。该方法利用对比学习以及非等变网络来实现典范化，提供了更多对典范化网络选择的灵活性，并且在预训练模型的等变性以及典范化过程的加速方面实现了显著优势，速度提高了 2 倍。

May, 2024