介绍了一种解决多实例学习和 3D 形状识别等问题的神经网络模型 Set Transformer，该模型使用注意力机制来模拟输入集合中元素之间的交互，并且引入了一种减少计算复杂度的基于诱导点的注意力方案，实验结果表明，在处理集合结构数据时，该模型具有比其他最新方法更高的性能表现。

Oct, 2018

通过交互依赖组件提升了注意力机制在 neural set encoding 的处理能力，提出了一个新的神经网络模型叫做 Set Interdependence Transformer，可用于处理各种基于集合的序列任务，如句子排序等。

Jun, 2022

这篇文章提出了一种对于 Seq2Seq 模型的数据增强方法，称为 SETAUG，通过在输入序列中插入集合的大小信息并使用新的排列采样算法，有效地捕捉了集合元素的次序等不变性和基数属性。在进行试验后，这种方法实现了平均相对改进 20％，适用于 BART、T5 和 GPT-3 等多种不同模型。

May, 2022

本研究通过引入多重集等变性的概念，改善了现有集合预测模型在多重集方面的不足，通过近似隐式微分优化 DSPT 网络，显着提高 CLEVR 对象属性预测的效果。

Nov, 2021

传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

提出一种针对无序集合的预测模型，解决了现有方法忽视集合结构和存在的不连续性问题，通过单个特征向量可实现点集的自编码、图像中物体边框的预测以及物体属性集合的预测。

Jun, 2019

介绍了用于深度学习的简单置换等变层，通过参数共享获得并且在每个集合的大小上具有线性时间复杂度。 使用深度置换不变网络执行点云分类和 MNIST 数字求和，其中在两种情况下输出都不变于输入的置换。在半监督设置中，我们展示了这种层类型在集合异常检测以及带有指导信息的半监督学习中的有用性。

Nov, 2016

研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。

Mar, 2017

介绍了深度学习中置换不变的神经网络模型：Deep Sets 和 Set Transformer, 研究表明这两种模型在深度加深时容易出现梯度消失和梯度爆炸，并针对这些问题提出了 Deep Sets++ 和 Set Transformer++ 模型，还提出了适用于集合数据的方法 set norm。

Jun, 2022

研究非对称性生成方法，提出一种可替代变分自编码器和生成对抗网络中的 i.i.d. 生成的可微分生成机制 Top-n 创建方法，能够更好地生成集合和图，并在多项实验中优于传统的 i.i.d. 生成方法。

Oct, 2021