研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。

Mar, 2017

提出一种针对无序集合的预测模型，解决了现有方法忽视集合结构和存在的不连续性问题，通过单个特征向量可实现点集的自编码、图像中物体边框的预测以及物体属性集合的预测。

Jun, 2019

传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

研究了 Deep Set 学习的核心组成部分：聚合函数；提出并检查了替代常用聚合函数的方法，包括可学习的循环聚合函数，并在实验中发现 Deep Set 网络对聚合函数的选择非常敏感：在改善性能的同时，我们发现可学习的聚合函数可以降低超参数的敏感度，并更好地推广到分布外的输入大小。

Mar, 2019

介绍了用于深度学习的简单置换等变层，通过参数共享获得并且在每个集合的大小上具有线性时间复杂度。 使用深度置换不变网络执行点云分类和 MNIST 数字求和，其中在两种情况下输出都不变于输入的置换。在半监督设置中，我们展示了这种层类型在集合异常检测以及带有指导信息的半监督学习中的有用性。

Nov, 2016

我们的研究主要探讨了多集函数的通用表示和潜空间维度，通过深度集合的模型，我们证明了在连续和不连续多集函数中通用表示是可行的，并提供了一个特殊的求和分解结构用于在可识别张量上进行通用表示。

Oct, 2023

研究介绍了深度集模型的理论分析，发现只有当模型的潜空间具备足够高维度时，其可以作为连续集函数的通用逼近器。同时指出深度集模型可以被看作是 Janossy 池化范例的最有效体现，阐述了其在集合学习中的广泛应用以及问题。

Jul, 2021

本文提出了一种使用深度神经网络学习预测具有未知置换和基数的集合的新方法，通过交替优化估计置换的分布，在目标检测和 CAPTCHA 问题上超越了最先进的检测器，并意外发现该方法获取了模拟算术的能力。

May, 2018

通过交替使用线性嵌入层、格子集合和校准器（分段线性函数）构建具有单调性的深度模型，使用 TensorFlow 实现，并使用 ADAM 优化器和随机梯度下降方法，实验结果表明，六层的单调深度格子网络在分类和回归问题上的性能都达到了最先进的水平。

Sep, 2017

本文主要研究了定义在概率度量上的神经网络的学习和表示，通过研究不同正则化选择下的近似和泛化界限，建立了一个具有不同非线性学习程度的功能空间等级体系，从而解决了对称函数的泛化问题。

Aug, 2020