神经网络对不变映射的通用逼近

Apr, 2018

Universal approximations of invariant maps by neural networks

Dmitry Yarotsky

TL;DR我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

Abstract

We describe generalizations of the universal approximation theorem for neural networks to maps invariant or equivariant with respect to linear representations of groups. Our goal is to establish network-like comp

neural networks groups invariant maps equivariant maps universal approximation theorem

发现论文，激发创造

深度神经网络对置换不变 / 等变函数的普适逼近

本文研究了有限群 $G$ 的 $G$- 不变 / 等变函数与深度神经网络之间的关系，特别是对于给定的 $G$- 不变 / 等变函数，我们通过深度神经网络构建其通用逼近器，其中每层都具有 $G$- 作用，每个仿射变换都是 $G$- 等变 / 不变。由于表示论，我们可以证明这种逼近器具有比通常模型少得多的自由参数。

Mar, 2019

等变模型的普适性与对称性的可学习性之间的权衡

使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

Oct, 2022

逆问题的等变神经网络

本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

Feb, 2021

不变网络的普适性研究

本研究探讨了群变换对神经网络中的线性层进行限制是否可以使其逼近任意（连续）不变函数，结果表明高阶张量可以实现该功能，且存在一些群需要高阶张量才能实现，研究得出了只使用一阶张量的 G 不变网络普适性的必要条件。

Jan, 2019

关于旋转等变点云网络的普适性

研究点云上函数学习的神经网络结构具有形状不变性，首先推导出两个充分条件以获得普适逼近性能，在此基础上设计了两个新的普适网络结构。

Oct, 2020

群等变神经网络的理论方面

本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

Apr, 2020

概率对称和不变神经网络

本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

Jan, 2019

等变可操控神经网络：对对称群的特别强调综述

本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

Jan, 2023

线性神经网络的几何：对置等变性和不变性的研究

线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种，我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论，如权重共享特性，并证明所有不变的线性函数可以通过线性自编码器进行学习。

Sep, 2023

不变 / 等变图神经网络普适性的简单证明

本文提出了一种基于图同态模型的简单证明方法，证明了不变和等变张量化图神经网络的普适性和张量化的自然解释，同时解释了该模型与图的连续表示之间的联系。

Oct, 2019