线性等变网络的隐性偏差

Oct, 2021

Implicit Bias of Linear Equivariant Networks

Hannah Lawrence, Kristian Georgiev, Andrew Dienes, Bobak T. Kiani

TL;DR本文研究群等变卷积神经网络，在训练时隐式地通过具体的架构对模型进行正则化处理来实现其显式的对称性偏置，从而实现模型的推广。同时，文中还提出了傅里叶空间隐式正则化模型的解释，并通过实验证明了该模型的有效性。

Abstract

group equivariant convolutional neural networks (G-CNNs) are generalizations of convolutional neural networks (CNNs) which excel in a wide range of technical applications by explicitly encoding symmetries, such as rotations and permutations, in their architectures. Although the success

group equivariant convolutional neural networks symmetry bias low-rank fourier matrix coefficients implicit regularization uncertainty principles

发现论文，激发创造

群等变卷积网络

介绍了一种新型卷积神经网络，称为 Group equivariant Convolutional Neural Networks (G-CNNs)，它通过利用对称性降低样本复杂度，使用新型层 G-convolutions，增加网络的表达能力，且易于使用和实现。 G-CNNs 在 CIFAR10 和旋转的 MNIST 上实现了最先进的结果。

Feb, 2016

李群上的 B - 样条卷积神经网络

在这篇论文中，我们提出了一种基于 B 样条的模块化框架，用于在任意 Lie 群中设计和实现 G-CNNs 的方法，并在两个基准数据集上研究其影响和潜力。

Sep, 2019

近似等变图网络

图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同，本篇论文侧重于探讨 GNNs 的主动对称性，通过对信号在固定图上的支持进行学习，将近似对称性形式化为图粗化，提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡，实验证明，选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。

Aug, 2023

诱导表示之间的交织算子（及其在等变神经网络理论中的应用）

本文提出了一个 G-CNNs 的数学框架，证明了如果输入和输出特征空间根据受激表示变换，则网络的层为卷积操作。这个结果确定了 G-CNNs 是一个通用的等变网络结构类，它一般化了最近对正则表示之间的交错操作的重要工作。

Mar, 2018

可控卷积神经网络的隐式神经卷积核

使用 MLP 来参数化 G - 可操作的卷积核，提出了一种简单灵活的 Steerable CNNs 框架，可推广到任何可建立 G - 等变 MLP 的群组 G。在点云（ModelNet-40）和分子数据（QM9）上应用我们的方法，与标准的 Steerable CNNs 相比，性能有显著提高。

Dec, 2022

尺度 - 旋转 - 等变李群卷积神经网络 (Lie Group-CNNs)

该研究提出了一种 Lie 群 - CNN 模型，利用群卷积模块的全连接网络和 Lie - 代数实现了尺度旋转等变性，进而成功地从图像中提取几何特征并实现了对图像的等变识别。

Jun, 2023

关于齐变卷积神经网络在同性空间上的一般理论

本研究提出了关于群等变卷积神经网络（G-CNNs）在同种空间如欧几里德空间和球面上的总体理论。这些网络中的特征映射表示同种基本空间上的场，层是场空间之间的等变映射。该理论使得所有现有的 G-CNNs 都能按照它们的对称群、基础空间和场类型进行系统分类。我们还考虑了一个根本性问题：什么是给定类型的特征空间（场）之间等变线性映射的最普遍类型？我们证明这样的映射与使用等变核进行卷积一一对应，并且表征了这些核的空间。

Nov, 2018

李代数卷积网络自动对称性发现

在物理科学中，利用李代数卷积网络（L-conv）可以发现物理学和对称性之间的直接联系，并且 L-conv 可以作为构建任何等变前馈结构的构建模块。

Sep, 2021

群等变神经网络的理论方面

本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

Apr, 2020

等变神经网络的李群分解

使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL (n, R)，以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。

Oct, 2023