Nov, 2018

关于齐变卷积神经网络在同性空间上的一般理论

PDF
TL;DR本研究提出了关于群等变卷积神经网络（G-CNNs）在同种空间如欧几里德空间和球面上的总体理论。这些网络中的特征映射表示同种基本空间上的场，层是场空间之间的等变映射。该理论使得所有现有的 G-CNNs 都能按照它们的对称群、基础空间和场类型进行系统分类。我们还考虑了一个根本性问题：什么是给定类型的特征空间（场）之间等变线性映射的最普遍类型？我们证明这样的映射与使用等变核进行卷积一一对应，并且表征了这些核的空间。
group equivariant convolutional neural networkshomogeneous spacessymmetry groupequivariant linear mapconvolutions
发现论文，激发创造
  • 诱导表示之间的交织算子（及其在等变神经网络理论中的应用）

    本文提出了一个 G-CNNs 的数学框架，证明了如果输入和输出特征空间根据受激表示变换，则网络的层为卷积操作。这个结果确定了 G-CNNs 是一个通用的等变网络结构类，它一般化了最近对正则表示之间的交错操作的重要工作。

    Mar, 2018

  • 群等变神经网络的理论方面

    本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

    Apr, 2020

  • 群等变卷积网络

    介绍了一种新型卷积神经网络，称为 Group equivariant Convolutional Neural Networks (G-CNNs)，它通过利用对称性降低样本复杂度，使用新型层 G-convolutions，增加网络的表达能力，且易于使用和实现。 G-CNNs 在 CIFAR10 和旋转的 MNIST 上实现了最先进的结果。

    Feb, 2016

  • 基于傅里叶变换的同变网络同构空间中的核与非线性设计

    从 Fourier 角度出发，我们在同质空间上引入了一种统一的群等变网络框架，其中考虑了张量值特征场及其卷积层前后的特征，通过利用提升特征场的 Fourier 系数的稀疏性，通过 Fourier 域统一推导卷积核并实现非线性激活，该方法在 spherical vector field regression、point cloud classification 和 molecular completion 等任务中达到了最先进的性能水平。

    Jun, 2022

  • 等变规范卷积网络和二十面体 CNN

    本研究提出了一种基于变换对称性等效性原则的神经网络架构设计方法，并将此原则扩展至局部规范变换领域，以实现在流形上的卷积神经网络，提高了全景图像与全球气候图案分割等任务的性能。

    Feb, 2019

  • 一种针对群等变卷积核的 Wigner-Eckart 定理

    本篇论文对 G 任意紧致群下可转向核空间进行了全面的研究，通过将可转向核空间和量子力学中的球张量算符进行类比，广义化了著名的 Wigner-Eckart 定理，证明了可转向核空间可由广义约化矩阵元，Clebsch-Gordan 系数和单群空间上的谐函数完全理解和参数化。

    Oct, 2020

  • 广义 E（2）等变可转 CNN

    该研究描述了在可旋转卷积神经网络框架中的 $E (2)$- 等变卷积，提出了转换特性表示描述特征空间变换法则的群表示。研究人员证明了这些约束可以通过使用不可约表示约简为任意群表示的约束，并通过实现一系列先前提出的和全新的等变网络架构进行了广泛比较，表明当用作非等变卷积的替代品时，在 CIFAR-10、CIFAR-100 和 STL-10 上使用 $E (2)$- 可旋转卷积可以取得显著的改进。

    Nov, 2019

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023

  • 通过商特征空间提高群不变性 / 等变性深层网络的推广能力界限

    本研究提出了一种新的不变和等变深度神经网络的泛化误差上界，并开发了一个称为 “商特征空间” 的方法来描述其对于一些属性的作用，证明了 “商特征空间” 的容积可以描述泛化误差并进一步表明不变性和等变性显著改善了误差上界的主导项，同时讨论了不变性 DNN 的表达能力并证明了其能够实现最佳逼近率，并通过实验结果验证了理论结果。

    Oct, 2019

  • 线性等变网络的隐性偏差

    本文研究群等变卷积神经网络，在训练时隐式地通过具体的架构对模型进行正则化处理来实现其显式的对称性偏置，从而实现模型的推广。同时，文中还提出了傅里叶空间隐式正则化模型的解释，并通过实验证明了该模型的有效性。

    Oct, 2021