研究了 Deep Set 学习的核心组成部分：聚合函数；提出并检查了替代常用聚合函数的方法，包括可学习的循环聚合函数，并在实验中发现 Deep Set 网络对聚合函数的选择非常敏感：在改善性能的同时，我们发现可学习的聚合函数可以降低超参数的敏感度，并更好地推广到分布外的输入大小。

Mar, 2019

本文提出了一种基于优化传输计划思想的特征集聚合技术，可用于长生物序列的池化操作，具有快速、简单、可扩展等优点，并在蛋白质折叠识别、染色质图谱检测等生物学任务上取得了最先进的效果。

Jun, 2020

本文中，研究了价值聚合在解决模仿学习问题上的一般框架，通过迭代地在在线学习环境中交替进行策略优化和评估来生成策略序列。我们揭示了价值聚合总是产生收敛策略序列且性能不断提高的常见信念是错误的，提供了一个关键稳定条件以确保收敛性，并提供了最后一个策略性能的紧密非渐近界。

Jan, 2018

该论文提出了一种可学习的聚合函数（LAF），用于解决机器学习中处理集合的问题，该函数能够近似多种常用聚合器并在半合成和真实数据上显示其优越性能，可与注意力机制结合使用，有效地发挥作用。

Dec, 2020

本文提出一种聚合机制来获取具有动态路由策略的固定大小的向量表示文本序列，并通过实验结果在五个文本分类任务中展现了其优越性。

Jun, 2018

该研究论文研究了一类无序聚合函数的设计，用于优化二阶特征提取和标准化过程中的贡献均衡，并证明它们能够像一阶聚合函数一样高效地运算，并在许多分类任务中表现出最先进的性能，特别是通过草图计算在较低维度计算二阶特征聚合。

Aug, 2018

本文提出一种新的前馈神经模板 ——AttSets，以及一个专门的 FASet 训练算法，用于多视图的 3D 重建。AttSets 模块是置换不变的，计算效率高且易于实现，而 FASet 算法使基于 AttSets 的网络非常稳健，并且在多个公共数据集上确切地证明了 AttSets 与 FASet 算法的优越性。

Aug, 2018

本研究旨在提高多头注意力机制信息聚合的表达能力，通过路由一致性算法来迭代地更新内部表示向最终表示的分配比例，实验结果表明，该改进算法比传统线性转换方法更优秀。

Apr, 2019

本研究探讨深度神经网络通过对隐含凸函数的 Proximal 操作构建 Optimization Induced Equilibrium Networks (OptEq) 的平衡点是否能作为优化问题的解，进而引入先验属性以便优化设计深度模型。该研究发现优化辅助设计的 OptEq 优于以往的隐式模型，是设计深度模型的重要一步。

May, 2021

本文研究使用函数逼近及神经网络从博弈论中预测纳什均衡、相关均衡和粗略相关均衡。使用等变架构可以使得预测具有更好的普适性和近似性，但是在均衡选择和社会福利方面具有一定的局限性。

Jan, 2023