不变与等变网络设计的框架平均

Oct, 2021

Frame Averaging for Invariant and Equivariant Network Design

Omri Puny, Matan Atzmon, Heli Ben-Hamu, Ishan Misra, Aditya Grover...

TL;DR介绍了一种称为框架平均的通用框架，用于使现有神经网络体系结构对新的对称性类型具有不变性或等变性。该框架建立在团体平均算子之上，并通过使用小的子集来取代整个团的平均算子，从而保证较低的计算成本。通过使用框架平均，提出了一类称为通用图神经网络（GNNs）的新模型，实现了几个应用程序（包括点云正常估计、超越 2-WL 图分离和 N 体动力学预测），并达到了所有这些基准测试的最高成绩。

Abstract

Many machine learning tasks involve learning functions that are known to be invariant or equivariant to certain symmetries of the input data. However, it is often challenging to design neural network architectures that respect these symmetries while being expressive and computationally

machine learning neural networks symmetry invariance equivariance

发现论文，激发创造

FAENet：材料建模的帧平均等变图神经网络

本文介绍了一种基于随机框架平均（SFA）的灵活框架，通过数据转换使任何模型 E（3）- 等变或不变，并提出了一个快速、表达力强且没有对称性约束设计的图神经网络 FAENet。我们在材料建模和常见分子建模任务中理论和实验表明了本方法的有效性和优越性。

Apr, 2023

通过最小帧平均实现等变性，提升对称性和效率

通过帧平均的方法，在机器学习系统中实现等变性。我们提出了 Minimal Frame Averaging (MFA) 数学框架，用于构建确切等变性的最小帧，扩展到了 Lorentz 群和幺正群，并在多个任务中展示了通过 MFA 来编码对称性的效率和有效性。

Jun, 2024

等变形状空间学习的帧平均

本文提出了一种框架，通过引入均变自动编码器和将平面欧几里得运动等价于形状不同部分之间的变换来将均变性纳入编码器和解码器，在未见过的测试形状上具有最先进的泛化性能。

Dec, 2021

等变框架与连续规范化的不可能性

该论文提供了关于 frame-averaging 的理论支持：在常用的群组中，不存在能够保持 averaged 函数连续性的有效计算帧的选择。为了解决这个鲁棒性问题，我们正式定义并构建了能够保持连续性的加权帧，并通过构建 $SO (2)$，$SO (3)$ 和 $S_n$ 在点云上的有效连续加权帧来展示它们的实用性。

Feb, 2024

对不变性学习和等变性学习的正式观点

利用框架取代方法来实现神经网络的对称性，引入了规范化角度，设计了对特征向量更优且理论上和实践中都更优的新框架，揭示了现有方法之间的等价性。

May, 2024

具有完整局部参考系的 SE (3) 等变图神经网络

本文提出了一种构建 SE (3) 等变图神经网络的框架，该框架可以在保证性能的前提下实现计算效率的提升，并在牛顿力学建模和平衡分子构型生成两个任务中展示了优异的性能。

Oct, 2021

Tensor Frames -- 如何使任何消息传递网络是等变的

建立等变消息传递框架，实现几何深度学习中的任意维度欧几里得空间上的等变信息传递，通过局部坐标框架和张量对象在消息中保持几何信息一致性，并展示了 O (3) 等变性在点云架构上的优势及在法向量回归中的最新成果。

May, 2024

神经网络中不变性的好处

本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

May, 2020

过参数化神经网络中的对称性：一种均场视角

我们以平均场（Mean-Field）视角分析参数过多的人工神经网络在对称数据条件下的学习动态，探讨了采用随机梯度下降和可能的对称性增强技术（如数据增广、特征平均或等变体系结构）训练的广义浅层网络的学习动态，研究结果发现在对称数据的情况下，数据增广、特征平均和自由训练的模型在平均场动态下具有相同的行为。

May, 2024

使用与滥用等变性

我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

Aug, 2023