Nov, 2018

Janossy Pooling：学习变尺寸输入的深度置换不变函数

PDF
TL;DR本文提出了 Janossy pooling 方法，可以将置换不变函数表示为输入序列的所有重新排序应用置换敏感函数的平均值，并且通过三种近似方法实现了可计算性可控，实验结果表明该方法在置换不变函数的构建上表现出了比当前最先进的方法更好的性能。
janossy poolingpermutation-invariant functionscanonical orderingsk-order interactionsstochastic optimization algorithms
发现论文，激发创造
  • 集合上函数的普适逼近

    研究介绍了深度集模型的理论分析，发现只有当模型的潜空间具备足够高维度时，其可以作为连续集函数的通用逼近器。同时指出深度集模型可以被看作是 Janossy 池化范例的最有效体现，阐述了其在集合学习中的广泛应用以及问题。

    Jul, 2021

  • Deep Sets

    研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。

    Mar, 2017

  • 群不变的全局池化

    本文介绍一种不变汇聚层 (GIGP)，它是一种满足足够特征表达的汇聚层，可以表示一大类不变函数，该方法是基于组轨道感知的汇聚过程，针对旋转 MNIST 和 QM9 等数据集，取得了良好的结果。

    May, 2023

  • 神经网络学习对称函数的功能视角

    本文主要研究了定义在概率度量上的神经网络的学习和表示，通过研究不同正则化选择下的近似和泛化界限，建立了一个具有不同非线性学习程度的功能空间等级体系，从而解决了对称函数的泛化问题。

    Aug, 2020

  • 通过轻量不变特征学习对称矩阵和点云上的函数

    提出了用于机器学习对称矩阵上不变函数和对点云上不变函数的数学公式，并结合 DeepSets 在不同尺寸的对称矩阵和点云上学习函数的可行性。

    May, 2024

  • FSPool: 使用 Featurewise Sort Pooling 学习集合表示

    论文提出了一种基于特征向量汇集的池化方法，以解决传统集合预测模型中存在的责任问题，并使用 “排列等变自编码器” 来改进数据的重构和表示性能。同时，使用 FSPool 技术替换现有集合编码器中的池化函数可以提高多个数据集的准确性和收敛速度

    Jun, 2019

  • 排列不变神经网络

    传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

    Mar, 2024

  • 向量和张量上置换不变函数的通用表示

    我们的研究主要探讨了多集函数的通用表示和潜空间维度，通过深度集合的模型，我们证明了在连续和不连续多集函数中通用表示是可行的，并提供了一个特殊的求和分解结构用于在可识别张量上进行通用表示。

    Oct, 2023

  • 置换不变函数：统计检验、度量熵降维和估计

    本文主要研究排列不变性在机器学习中的应用，特别关注在多变量概率分布中如何统计性地检测排列不变性，以及排列不变性在简化维度估计中的作用，并针对此提出了测试方法和回归方法。

    Mar, 2024

  • 深度神经网络对置换不变 / 等变函数的普适逼近

    本文研究了有限群 $G$ 的 $G$- 不变 / 等变函数与深度神经网络之间的关系，特别是对于给定的 $G$- 不变 / 等变函数，我们通过深度神经网络构建其通用逼近器，其中每层都具有 $G$- 作用，每个仿射变换都是 $G$- 等变 / 不变。由于表示论，我们可以证明这种逼近器具有比通常模型少得多的自由参数。

    Mar, 2019