本研究提出了一种新型的 Simplicial Attention Networks (SAT) 以及一种签名注意机制，旨在解决目前 Simplicial Neural Networks (SNNs) 在计算效率和适应新结构方面的缺陷，并在图像和轨迹分类任务中表现优异。

Apr, 2022

本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

Apr, 2019

该研究介绍了单纯神经网络（SNNs），作为图神经网络在特殊拓扑空间，即单纯复合体上的一般化形式。这种新的神经网络结构，能够处理包括向量场或 n 重合作网络等更多元的数据，也定义了适当的卷积方式，并在合著关系复合体的数据丢失方面进行测试。

Oct, 2020

该文提出了一种新的网络架构 —— 门控注意力网络（GaAN），用于学习图形。该架构使用卷积子网络来控制每个注意力头的重要性，证明了其在归纳节点分类问题和交通速度预测问题上的有效性，并在三个真实世界数据集上取得了最先进的结果。

Mar, 2018

本研究提出了一个基于 simplicial complex 的复杂语义表示方法：Simplicial Graph Attention Network (SGAT)，通过将非目标节点的特征放置在简单形上，表示非线性、高阶节点或边缘的交互作用，并使用注意机制和上邻接来生成表示。实验证明，与其他当前最先进的异构图学习方法相比，SGAT 在节点分类任务和提取结构信息方面表现更好。

Jul, 2022

提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

Sep, 2017

本研究提出了一个新的视角，将图形视为一个单纯复合体，其中包括节点、边、三角形和 k - 单纯形，从而能够在任意 k - 单纯形上定义图结构化数据。我们的贡献是 Hodge-Laplacian 异构图注意网络（HL-HGAT），旨在学习 k - 单纯形间的异构信号表示。HL-HGAT 包括三个关键组件：HL 卷积滤波器（HL-filters）、单纯形投影（SP）和单纯形注意池（SAP）运算符，应用于 k - 单纯形。HL-filters 通过 Hodge-Laplacian（HL）算子编码的 k - 单纯形的独特拓扑性质，在 k-th HL 算子的频谱域内进行运算。为了解决计算挑战，我们引入了 HL-filters 的多项式逼近方法，具有空间定位性质。此外，我们提出了一个池化运算符，通过 transformers 和 SP 运算符的自注意力和跨注意力机制，对 k - 单纯形进行粗化，并通过特征组合来捕获多个维度的单纯形之间的拓扑连接。HL-HGAT 在包括 NP 困难问题、图多标签和分类挑战，以及物流、计算机视觉、生物学、化学和神经科学中的图回归任务中进行了全面评估。结果表明，该模型在处理各种图形场景方面具有高效性和多功能性。

Mar, 2024

本文介绍了一种名为 SANVis 的可视化分析系统，旨在帮助用户理解多头自我注意力网络的行为和特征，其中通过 Transformer 模型的使用展示了 SANVis 在机器翻译任务中的使用场景。

Sep, 2019

介绍了细胞注意力网络 (CANs)，它在图的节点上定义数据，将图表示为一个单细胞复合体的 1 - 骨架，以捕捉更高阶的相互作用，并通过 2 种自掩模机制设计更广泛的图注意策略。实验结果表明 CANs 是一种与基于图的学习的最新成果相比，具有低复杂度的策略。

Sep, 2022

本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

Oct, 2017