深度集合预测网络
本文提出了一种使用深度神经网络学习预测具有未知置换和基数的集合的新方法，通过交替优化估计置换的分布，在目标检测和 CAPTCHA 问题上超越了最先进的检测器，并意外发现该方法获取了模拟算术的能力。
May, 2018
研究了使用深度格网网络模型进行变长置换不变的特征向量聚合来预测标签，并添加输入和输出之间的单调性约束以提高可解释性。同时使用所提出的集合函数来从稀疏分类特征中自动化工程密集且可解释的特征，称为语义特征引擎。在实际数据上的实验表明，其准确性类似于深集合或深度神经网络，并且更易于调试和理解。
May, 2018
本研究提出了基于深度神经网络的时间序列预测整体解决方案，其中独特的视角是通过构建集合级别的共现图来学习元素关系，并在动态关系图上执行图卷积。此外，设计了基于注意力机制的模块来自适应地学习元素和集合之间的时间依赖性，并提供门控机制来发现不同序列中的隐藏共享模式并融合静态和动态信息来提高预测性能。实验结果表明，即使只有一部分训练数据，我们的方法也可以取得竞争性的表现，并且可以优于现有方法。
Jun, 2020
我们提出了一种使用深度学习来学习预测集合的新方法。我们的方法通过联合学习目标集合的基数和状态分布来实现排列不变的集预测，证明了我们的方法在多标签图像分类任务上取得了最新的技术水平。
Sep, 2017
研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。
Mar, 2017
传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。
Mar, 2024
介绍了用于深度学习的简单置换等变层，通过参数共享获得并且在每个集合的大小上具有线性时间复杂度。 使用深度置换不变网络执行点云分类和 MNIST 数字求和，其中在两种情况下输出都不变于输入的置换。在半监督设置中，我们展示了这种层类型在集合异常检测以及带有指导信息的半监督学习中的有用性。
Nov, 2016
研究介绍了深度集模型的理论分析，发现只有当模型的潜空间具备足够高维度时，其可以作为连续集函数的通用逼近器。同时指出深度集模型可以被看作是 Janossy 池化范例的最有效体现，阐述了其在集合学习中的广泛应用以及问题。
Jul, 2021