本研究提出了一种名为 VAIN 的新型关注架构，用于多智能体预测建模，并在多个挑战性任务领域（例如国际象棋和足球）中进行了评估，与其它多智能体方法相比表现更优秀。

Jun, 2017

本论文提出一种使用 copula 来明确建模多智能体系统中相关性和协调性的方法，该方法可以分别学习捕捉每个智能体局部行为模式的边缘分布以及完全捕捉智能体之间依赖结构的 copula 函数，实验结果表明，该模型在动作预测任务中表现优于现有基线，并能够生成接近于专家演示的新轨迹。

Jul, 2021

MPXGAT 是一种基于注意力机制的深度学习模型，专门用于多重图嵌入，通过利用图注意力网络（GATs）的鲁棒性，它捕捉多重网络的结构，从而促进了网络多个层内和层间的准确链路预测。我们在各种基准数据集上进行的全面实验评估证实，MPXGAT 始终优于最先进的竞争算法。

Mar, 2024

该研究旨在解决当前推荐系统仅考虑用户与物品的单一交互类型，无法识别具有复合行为关系的交互信号的问题，通过提出使用记忆 - 增强变压器网络（MATN）的方法实现多重行为关系信息推荐。经过实验证明，该方法在两个基准数据集和真实世界的电子商务用户行为数据方面均取得了显著的改进。

Oct, 2021

本论文提出了一种通用结构来解决如交通预测、行人跟踪、路径规划等多智体场景轨迹预测的挑战，该结构采用惯性、相对运动、意图、互动等模式来模拟运动的归纳偏差，灵活地模拟不同环境中多智体之间的相互作用，并且通过一个新的关注机制实现连续值（模糊）决策的对话模拟，取得了比现有前沿预测模型在人群运动轨迹、美国高速公路交通、NBA 运动数据和物理数据集等不同领域中的显著性能提升，同时提出了一些消融和增益方案来理解该模型的决策过程和性能提高的原因。

Oct, 2020

本文提出了一种名为 Monotonic Multihead Attention（MMA）的新型注意力机制，可应用于同时翻译的机器翻译任务，并介绍了两种特定于多头注意力的新颖且可解释的延迟控制方法，与最先进的 Milk 方法相比，MMA 具有更好的延迟 - 质量平衡，同时分析了延迟控制对关注范围的影响，通过分析解码器层数和头数对质量和延迟的影响来证明模型的引入。

Sep, 2019

该论文研究了影响力最大化问题，提出了多重影响力最大化的模型，探索了多重扩散和信息关联机制，并通过图贝叶斯优化提供了高效的全局传递模块。

Mar, 2024

多重影响最大化研究中，引入了 MIM-Reasoner，将强化学习与概率图模型相结合，有效捕捉给定多重网络中层内部和层之间的复杂传播过程，从而解决了 MIM 中最具挑战性的问题。通过在合成和真实世界数据集上的广泛分析，验证了 MIM-Reasoner 的性能。

Feb, 2024

我们提出了联合 MLP/Attention (JoMA) 动力学，这是一个新的数学框架，用于理解多层 Transformer 结构的训练过程。通过将自注意力层集成到 Transformers 中，仅保留了 MLP 层的修改动力学。JoMA 消除了先前分析中的不切实际的假设（例如，缺少剩余连接），并预测了在存在非线性激活时，注意力首先变得稀疏（以学习显著的标记），然后变得密集（以学习不明显的标记），而在线性情况下，它与现有的研究一致。我们利用 JoMA 定性地解释了当输入标记由潜在的层次生成模型生成时，标记如何结合形成多层 Transformer 中的层次结构。来自真实数据集（Wikitext2/Wikitext103）和各种预训练模型（OPT、Pythia）的实验验证了我们的理论发现。

Oct, 2023

该研究针对大规模多智能体系统，建立一种基于完全图的游戏抽象机制，以简化学习过程，并通过交通路口和猎物 - 捕食者两种实验验证其在状态空间和收敛性能上的优势。

Nov, 2019