May, 2023

群不变的全局池化

PDF
TL;DR本文介绍一种不变汇聚层 (GIGP)，它是一种满足足够特征表达的汇聚层，可以表示一大类不变函数，该方法是基于组轨道感知的汇聚过程，针对旋转 MNIST 和 QM9 等数据集，取得了良好的结果。
invariant poolingsymmetriesexpressive layerspooling mechanismsgroup-equivariant representations
发现论文，激发创造
  • 等变层与不变层：基础和池化在点云分类中的比较

    本文研究基于点云的数据集的集合结构数据学习问题，提出了一种基于置换对称性的设计有效的神经网络的蓝图，并针对置换不变网络进行了分析并提出了全局池化的思路。通过在三个基准点云分类数据集上的实验，发现全局池化方法与背骨模型之间的协同作用，可以有助于提高模型性能。

    Jun, 2023

  • 使用卷积神经网络学习稳定的群不变表示

    本文研究了转化群、深度卷积网络的不变性特性及其对稳定性的影响，进一步探讨了网络架构和可训练滤波器系数等因素与不变性群的关系，提供了更加抽象、强大不变性表示的实现方式。

    Jan, 2013

  • 基于分组矩阵的图池化与自适应聚类数

    GMPool 是一种新颖的可微的图池化架构，可以自动确定基于输入数据的适当聚类数，通过计算分组矩阵并分解它来获得池化算子，从而在分子属性预测任务中优于传统方法。

    Sep, 2022

  • GIFT：基于组卷积神经网络的不变变换密集视觉描述符学习

    本文介绍了一种名为 Group Invariant Feature Transform (GIFT) 的可区分性强、鲁棒性强的视觉描述符，其利用基于组的卷积提取从图像的转换版本中提取的特征信息，相对于聚合特征的方法，GIFT 对于一组变换有证明的不变性，实验表明 GIFT 在多个基准数据集上优于现有的方法，可以实现相对位姿估计的实用性改进。

    Nov, 2019

  • 卷积神经网络中最大池化特征图的平移不变性

    本文旨在提高卷积神经网络对于图像分类的数学解释性，通过利用离散 Gabor - 类卷积的属性证明特征图在满足某些特定条件下可以逼近复杂 Gabor - 类系数的模，从而具有一定的稳定性，本文通过实验验证了这一理论并与双树小波分组变换一类的离散 Gabor - 类分解进行了比较。

    Sep, 2022

  • 通过轨道嵌入得到局部群不变表示

    本文提出了一种基于核方法的技术来推导局部群不变表示，通过在群上定义适当的概率分布来实现局部性，并使用核方法的强大框架来学习这些分布上的决策函数，从而生成局部不变随机特征映射。经实验证明，在三个真实数据集上，该方法优于基于核的竞争方法，并且在 Rotated-MNIST 上表现优于深度 CNN，并且与最近提出的群等变 CNN 表现相当。

    Dec, 2016

  • Auto-pooling: 学习从图像序列中改善图像特征的不变性

    该论文提出了一种无需使用空间信息的新型池化方法，可以学习图像序列的特征软聚类，从而改进特征的时间相干性，且在图像分类任务上表现优异。

    Jan, 2013

  • 图神经网络中池化的表达能力

    本文研究图神经网络中的池化操作的表现力问题，并介绍了一种可以全面维持 message-passing 层的表现力的池化操作设计原则，进而通过实验验证其在图同构检测上的效果。

    Apr, 2023

  • 图神经网络中池化操作的重新思考

    本文研究图形池化（Graph pooling）对图神经网络（GNN）性能的影响，使用随机化或补图聚类的变体挑战了保留局部性表示的必要性，并表明了卷积层在学习表示中的领导作用。与普遍认为的不同，局部池化并非导致 GNN 在相关且广泛使用的基准测试中获得成功的原因。

    Oct, 2020

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021