研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。

Mar, 2017

传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

本文提出了一种使用深度神经网络学习预测具有未知置换和基数的集合的新方法，通过交替优化估计置换的分布，在目标检测和 CAPTCHA 问题上超越了最先进的检测器，并意外发现该方法获取了模拟算术的能力。

May, 2018

本文研究基于点云的数据集的集合结构数据学习问题，提出了一种基于置换对称性的设计有效的神经网络的蓝图，并针对置换不变网络进行了分析并提出了全局池化的思路。通过在三个基准点云分类数据集上的实验，发现全局池化方法与背骨模型之间的协同作用，可以有助于提高模型性能。

Jun, 2023

证明了一个新的结构 PointNetST，可以用于学习等变集合函数， 并且相较于现有结构更加简单易懂，同时提出并验证了多种置换等变模型。

Oct, 2019

本文提出 PointNet 网络，通过直接消耗点云数据并尊重其排列不变性，实现了一个统一的架构，可用于物体分类、局部分割和场景语义解析等多种应用，并在理论和实验方面都有较好表现。

Dec, 2016

介绍了一种对置换对称的神经网络层，类比于卷积层，可以预测 2D 中密集互动粒子的运动，同时可以适应不同数量的对象。

Dec, 2016

本文研究线性神经网络层，特别是在深度学习架构中核心的具有排列不变性或等变性的网络层；针对这一特性，作者对其进行了参数化以及基于对称群作用下的标准基元轨道的和来表示排列等变线性层；进一步，本文介绍了一种基于低秩张量分解计算的基元，该基元比轨道基元的计算代价更低，最后提出了一种算法来实现这些基元相乘。

Mar, 2023

我们提出了一种使用深度学习来学习预测集合的新方法。我们的方法通过联合学习目标集合的基数和状态分布来实现排列不变的集预测，证明了我们的方法在多标签图像分类任务上取得了最新的技术水平。

Sep, 2017

介绍了深度学习中置换不变的神经网络模型：Deep Sets 和 Set Transformer, 研究表明这两种模型在深度加深时容易出现梯度消失和梯度爆炸，并针对这些问题提出了 Deep Sets++ 和 Set Transformer++ 模型，还提出了适用于集合数据的方法 set norm。

Jun, 2022