本文介绍一种基于神经网络的学习算法，用于处理集合到超图的函数问题，即 Set2Graph 函数。在测试中，该算法在粒子物理等领域表现出较优的效果。

Feb, 2020

本研究介绍了一种称为 Pointer Graph Networks（PGNs）的方法，该方法可将集合或图形增强为具有附加的推断边，从而提高模型的一般化能力。该方法直接受监督以对经典数据结构的长期操作进行建模，并综合了来自理论计算机科学的有用结构归纳偏差

Jun, 2020

介绍了一种解决多实例学习和 3D 形状识别等问题的神经网络模型 Set Transformer，该模型使用注意力机制来模拟输入集合中元素之间的交互，并且引入了一种减少计算复杂度的基于诱导点的注意力方案，实验结果表明，在处理集合结构数据时，该模型具有比其他最新方法更高的性能表现。

Oct, 2018

本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Nov, 2019

该研究综述了图神经网络和概率图形模型的交叉应用，探讨了 GNN 如何受益于 PGM 学习结构表示，如何实现更有效的推理和结构学习，以及分析了近期研究中使用的基准数据集和未来研究方向。

May, 2022

AllSet 是一种新的超图神经网络范式，利用多重集合函数以及 Deep Sets 和 Set Transformer 架构实现超图神经网络层，并在 10 个基准数据集和 3 个新数据集上展开广泛实验，结果表明 AllSet 相较于其他超图神经网络具有更高的模型灵活性和泛化能力，在分类任务上的表现更优秀。

Jun, 2021

传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。

Dec, 2023

通过交互依赖组件提升了注意力机制在 neural set encoding 的处理能力，提出了一个新的神经网络模型叫做 Set Interdependence Transformer，可用于处理各种基于集合的序列任务，如句子排序等。

Jun, 2022

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020