研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。

Mar, 2017

我们的研究主要探讨了多集函数的通用表示和潜空间维度，通过深度集合的模型，我们证明了在连续和不连续多集函数中通用表示是可行的，并提供了一个特殊的求和分解结构用于在可识别张量上进行通用表示。

Oct, 2023

传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

证明了一个新的结构 PointNetST，可以用于学习等变集合函数， 并且相较于现有结构更加简单易懂，同时提出并验证了多种置换等变模型。

Oct, 2019

本文研究函数在集合中的表示，借助于集合中求和的潜在空间来实现置换不变性。研究表明，基于离散映射实现的模型具有高度间断性，只有通过连续映射（如神经网络或高斯过程）实现的模型，才能对潜在空间的维度施加约束。为实现输入集合的通用函数表示，必须使潜在维度至少为输入元素的最大数量。

Jan, 2019

研究了 Deep Set 学习的核心组成部分：聚合函数；提出并检查了替代常用聚合函数的方法，包括可学习的循环聚合函数，并在实验中发现 Deep Set 网络对聚合函数的选择非常敏感：在改善性能的同时，我们发现可学习的聚合函数可以降低超参数的敏感度，并更好地推广到分布外的输入大小。

Mar, 2019

本文提出了 Janossy pooling 方法，可以将置换不变函数表示为输入序列的所有重新排序应用置换敏感函数的平均值，并且通过三种近似方法实现了可计算性可控，实验结果表明该方法在置换不变函数的构建上表现出了比当前最先进的方法更好的性能。

Nov, 2018

研究了使用深度格网网络模型进行变长置换不变的特征向量聚合来预测标签，并添加输入和输出之间的单调性约束以提高可解释性。同时使用所提出的集合函数来从稀疏分类特征中自动化工程密集且可解释的特征，称为语义特征引擎。在实际数据上的实验表明，其准确性类似于深集合或深度神经网络，并且更易于调试和理解。

May, 2018

通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

提出一种针对无序集合的预测模型，解决了现有方法忽视集合结构和存在的不连续性问题，通过单个特征向量可实现点集的自编码、图像中物体边框的预测以及物体属性集合的预测。

Jun, 2019