Jul, 2024

输入感知的局部群卷积变分用于旋转和颜色偏移的局部等变性

HTML
PDF
TL;DR提出了一种新颖方法 Variational Partial G-CNN (VP G-CNN)，用于捕捉每个数据实例特定的不同水平的部分等变性。VP G-CNN重新设计了输出组元素的分布，以便在输入数据上进行条件设置，利用变分推断避免过拟合。此外，通过重新设计可重参数化分布，解决了离散群等变性模型中存在的训练不稳定性问题。在玩具数据集和实际数据集上（包括MNIST67-180、CIFAR10、ColorMNIST和Flowers102），结果表明VP G-CNN具有鲁棒的性能，即使在不确定性度量方面也是如此。
发现论文，激发创造
  • 群等变卷积网络

    介绍了一种新型卷积神经网络，称为Group equivariant Convolutional Neural Networks (G-CNNs)，它通过利用对称性降低样本复杂度，使用新型层G-convolutions，增加网络的表达能力，且易于使用和实现。 G-CNNs在CIFAR10和旋转的MNIST上实现了最先进的结果。

    Feb, 2016

  • 关于齐变卷积神经网络在同性空间上的一般理论

    本研究提出了关于群等变卷积神经网络（G-CNNs）在同种空间如欧几里德空间和球面上的总体理论。这些网络中的特征映射表示同种基本空间上的场，层是场空间之间的等变映射。该理论使得所有现有的G-CNNs都能按照它们的对称群、基础空间和场类型进行系统分类。我们还考虑了一个根本性问题：什么是给定类型的特征空间（场）之间等变线性映射的最普遍类型？我们证明这样的映射与使用等变核进行卷积一一对应，并且表征了这些核的空间。

    Nov, 2018

  • 基于PDE的群等变卷积神经网络

    本研究提出了一种基于偏微分方程的框架，该框架可以将几何意义上的PDE系数作为网络层的可训练权重，从而在同一设计中具有内置的旋转和转化等几何对称性，并通过实验证明了该框架可以在深度学习图像应用中显著提高性能.

    Jan, 2020

  • 群等变生成对抗网络

    该研究采用群等变卷积网络采用显式诱导对称性先验，有效提高生成对抗网络中条件综合的表现，在对称成像数据集方面表现尤为显著。

    May, 2020

  • 群等变条件神经过程

    本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP，其建立在数据集的置换不变性与常规条件神经过程（CNPs）相同，且具有转换等变性；结合群等变性提供了考虑现实世界中的数据对称性的方式，并使用李群卷积层构建体系结构进行实际实现，EquivCNP 在具有等变性的情况下能够实现零样本泛化。

    Feb, 2021

  • 线性等变网络的隐性偏差

    本文研究群等变卷积神经网络，在训练时隐式地通过具体的架构对模型进行正则化处理来实现其显式的对称性偏置，从而实现模型的推广。同时，文中还提出了傅里叶空间隐式正则化模型的解释，并通过实验证明了该模型的有效性。

    Oct, 2021

  • 变形鲁棒的旋转-缩放-平移等变卷积神经网络

    该研究提出了一种基于耦合群卷积的旋转、缩放和平移等变卷积神经网络 RST-CNN，该网络通过稳定性分析可证明具有变形鲁棒性，能在旋转、缩放和平移等输入畸变的情况下保持等变性，从而在 MNIST、Fashion-MNIST 和 STL-10 数据集上实现了显著提升。

    Nov, 2021

  • 使用与滥用等变性

    我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

    Aug, 2023

  • 颜色均变网络

    我们设计了对色调和饱和度变化等感知转换具有等变性的卷积神经网络，通过观察到色调和饱和度变换可以分别与2D旋转和1D平移群相对应，实现了对这些感知变换的等变性，同时不增加网络参数。我们在合成和真实世界数据集上展示了我们的网络的实用性，其中颜色和光照的变化很常见。

    Jun, 2024

  • 当前对称群等变卷积框架在表征学习中的应用

    本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题，提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作，揭示了其输入空间和表示之间的内在对称性，具有重要的理论和实践意义。

    Sep, 2024