ICMLFeb, 2018

神经网络中等变性和卷积的推广到紧致群的作用

PDF
TL;DR本文首先说明深度学习中卷积神经网络在图像识别方面的成功，然后介绍了将此框架推广到其他领域的尝试，并给出了使用表示论和非交换调和分析概念的卷积和等变性的理论证明，证明了卷积结构不仅是充分而且也是必要的对于紧致群作用的等变性的条件，并推导了新的广义卷积公式。
convolutional neural networksequivariancecompact grouprepresentation theorygeneralized convolution formulae
发现论文，激发创造
  • 将卷积神经网络推广至任意连续数据上的李群等变

    该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法，并展示了该方法在图像、分子数据和 Hamiltonian 系统等领域的应用。该方法特别适用于 Hamiltonian 系统，可以保持线性和角动量的精确守恒。

    Feb, 2020

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023

  • 群等变神经网络的理论方面

    本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

    Apr, 2020

  • 逆问题的等变神经网络

    本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

    Feb, 2021

  • 神经网络对不变映射的通用逼近

    我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

    Apr, 2018

  • 关注组等变卷积网络

    提出了一种基于视觉注意力机制的等变卷积方法 AGECN，解决了对称模式下位置和姿态关系不明确的问题，实现了对图像数据集的高效表征。

    Feb, 2020

  • 群等变卷积网络

    介绍了一种新型卷积神经网络，称为 Group equivariant Convolutional Neural Networks (G-CNNs)，它通过利用对称性降低样本复杂度，使用新型层 G-convolutions，增加网络的表达能力，且易于使用和实现。 G-CNNs 在 CIFAR10 和旋转的 MNIST 上实现了最先进的结果。

    Feb, 2016

  • 通过李代数卷积实现准等变性

    在机器学习领域，最近，模型对于群作用的等变性已经成为重要的研究主题。本研究通过利用 Lie 群的 Lie 代数，提出了一种新颖的几乎等变性定义，并给出了一种将几乎等变性编码到模型中的实用方法。进一步，该研究还证明了等变性与等距性的关联以及几乎等变性与几乎等距性的关联，并在一定约束条件下，证明了几乎等变性流形嵌入函数与完全等变性嵌入函数之间的存在性。最后，通过在完全等变性和几乎等变性设置下的数据集上进行基准测试，证明了该方法的有效性。

    Oct, 2023

  • VolterraNet：一种拥有同态等变性的同态流形高阶卷积网络

    本研究提出一种新型的基于 Riemannian 同质空间函数样本的高阶 Volterra 卷积神经网络 (VolterraNet)，实现了对模型的对称性以及卷积操作的泛化，在有关分类任务的实验中，与其他先进模型相比，取得了较好的性能，为传统卷积神经网络提供了新思路。

    Jun, 2021

  • 等变高斯过程与卷积神经网络的相互关系

    研究了卷积神经网络和高斯过程之间的关系及其等变性特征，包括神经网络的信号传播特性、学习曲线理论推导方法以及在机器学习中的应用，旨在探究多通道极限下的神经网络与二维欧几里得群与向量值神经元激活函数相关的等变性高斯过程。

    Sep, 2022