传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

证明了一个新的结构 PointNetST，可以用于学习等变集合函数， 并且相较于现有结构更加简单易懂，同时提出并验证了多种置换等变模型。

Oct, 2019

研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。

Mar, 2017

介绍了用于深度学习的简单置换等变层，通过参数共享获得并且在每个集合的大小上具有线性时间复杂度。 使用深度置换不变网络执行点云分类和 MNIST 数字求和，其中在两种情况下输出都不变于输入的置换。在半监督设置中，我们展示了这种层类型在集合异常检测以及带有指导信息的半监督学习中的有用性。

Nov, 2016

提出了定义置换等变性转化的替代方法以解决连续归一化流族的重要问题，将点过程和一般集合建模示例应用于该方法中，以此来改进投向方案的性能和最终表现。

Oct, 2020

本文提出了一种使用深度神经网络学习预测具有未知置换和基数的集合的新方法，通过交替优化估计置换的分布，在目标检测和 CAPTCHA 问题上超越了最先进的检测器，并意外发现该方法获取了模拟算术的能力。

May, 2018

这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

May, 2018

通过设计参数初始化、偏差矩阵和位置相关的重缩放的组合，实现信号在无量纲变压器中的可信传播，使得在 WikiText-103 和 C4 上，我们的方法能够使没有标准化的深度变压器以与标准变压器相同的速度训练，并使深度无量纲变压器在大约 5 倍的迭代次数后达到与标准变压器相同的性能。

Feb, 2023

研究非对称性生成方法，提出一种可替代变分自编码器和生成对抗网络中的 i.i.d. 生成的可微分生成机制 Top-n 创建方法，能够更好地生成集合和图，并在多项实验中优于传统的 i.i.d. 生成方法。

Oct, 2021

本文介绍了 Transformer Set Prediction Network (TSPN)，一种基于变换器的灵活的置换等变模型，用于集合预测，它在预测集合元素的质量和准确性方面超过了 DSPN，并测试了该模型在 MNIST-as-point-clouds (SET-MNIST) 和 CLEVR 数据集上。

Jun, 2020