传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

研究介绍了深度集模型的理论分析，发现只有当模型的潜空间具备足够高维度时，其可以作为连续集函数的通用逼近器。同时指出深度集模型可以被看作是 Janossy 池化范例的最有效体现，阐述了其在集合学习中的广泛应用以及问题。

Jul, 2021

介绍了用于深度学习的简单置换等变层，通过参数共享获得并且在每个集合的大小上具有线性时间复杂度。 使用深度置换不变网络执行点云分类和 MNIST 数字求和，其中在两种情况下输出都不变于输入的置换。在半监督设置中，我们展示了这种层类型在集合异常检测以及带有指导信息的半监督学习中的有用性。

Nov, 2016

本文提出了一种使用深度神经网络学习预测具有未知置换和基数的集合的新方法，通过交替优化估计置换的分布，在目标检测和 CAPTCHA 问题上超越了最先进的检测器，并意外发现该方法获取了模拟算术的能力。

May, 2018

研究了使用深度格网网络模型进行变长置换不变的特征向量聚合来预测标签，并添加输入和输出之间的单调性约束以提高可解释性。同时使用所提出的集合函数来从稀疏分类特征中自动化工程密集且可解释的特征，称为语义特征引擎。在实际数据上的实验表明，其准确性类似于深集合或深度神经网络，并且更易于调试和理解。

May, 2018

我们的研究主要探讨了多集函数的通用表示和潜空间维度，通过深度集合的模型，我们证明了在连续和不连续多集函数中通用表示是可行的，并提供了一个特殊的求和分解结构用于在可识别张量上进行通用表示。

Oct, 2023

该文章提出了一种新的深度学习目标公式，在小训练集合的情况下能够使得其学习到的深层网络具有较好的泛化能力，同时介绍了一种基于几何感知的深度转换技术，从而实现了非线性、具有鲁棒性的特征转换，该方法在合成和真实数据方面表现良好，并支持所提出的框架使用 (K,ε)- 鲁棒性分析。

Sep, 2015

该研究在理论上研究了深度神经网络在不变函数中的逼近和复杂度特性，证明了不变函数可以被各种类型的神经网络模型进行渐近逼近，并且提供应用于高分辨率信号的参数估计和预测的技术。

Oct, 2022

本文提出了一种深度学习框架，用于处理无序的，具有不同权重和基数的随机向量，并通过推进操作将其映射到欧几里得空间，以实现分类，降维和生成任务的稳健性和性能。

Nov, 2018

该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

Feb, 2021