该论文提出了一种可学习的聚合函数（LAF），用于解决机器学习中处理集合的问题，该函数能够近似多种常用聚合器并在半合成和真实数据上显示其优越性能，可与注意力机制结合使用，有效地发挥作用。

Dec, 2020

传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

Fishnets 是一种在贝叶斯推断和图汇聚中学习信息最优嵌入的集聚策略，它可以扩展到任意数量的数据对象，对数据分布的变化具有鲁棒性，饱和贝叶斯信息内容，可以在图神经网络中作为聚合方案使用，从而实现超越现有基准的 ogbn-protein 数据性能最佳化。

Oct, 2023

本文提出一种新的前馈神经模板 ——AttSets，以及一个专门的 FASet 训练算法，用于多视图的 3D 重建。AttSets 模块是置换不变的，计算效率高且易于实现，而 FASet 算法使基于 AttSets 的网络非常稳健，并且在多个公共数据集上确切地证明了 AttSets 与 FASet 算法的优越性。

Aug, 2018

研究介绍了深度集模型的理论分析，发现只有当模型的潜空间具备足够高维度时，其可以作为连续集函数的通用逼近器。同时指出深度集模型可以被看作是 Janossy 池化范例的最有效体现，阐述了其在集合学习中的广泛应用以及问题。

Jul, 2021

研究了使用深度格网网络模型进行变长置换不变的特征向量聚合来预测标签，并添加输入和输出之间的单调性约束以提高可解释性。同时使用所提出的集合函数来从稀疏分类特征中自动化工程密集且可解释的特征，称为语义特征引擎。在实际数据上的实验表明，其准确性类似于深集合或深度神经网络，并且更易于调试和理解。

May, 2018

提出一种名为 Equilibrium Aggregation 的优化方法，可作为许多现有架构和应用程序中的替代方法，有效地处理神经网络中的输入聚合，达到了比其他聚合技术更高的性能。

Feb, 2022

本研究提出一种基于深层分解的体系结构，以学习大型图的有效表示。通过在图的分解层次上展开神经网络模板，解决通常表征社交网络图的高度可变性。采用领域压缩技术，减少空间和时间复杂性，实验证明该方法与当前最先进的图分类方法具有竞争力。

Mar, 2017

通过进行深度聚合来更好地融合图像识别中层间的信息，并对网络体系结构的各个方面进行了实验研究，发现深度聚合可以提高识别效果并减少网络参数。

Jul, 2017

本研究提出了一种新的转移学习方法，利用网络聚合解决深层神经网络领域偏移问题和之前学习知识的灾难性遗忘问题。我们证明了所提出的方法在测试时不需要任何额外训练步骤即可学习模型聚合，减轻了转移学习的负担。

Jun, 2022