HyperFormer 是一种考虑到本地级别顺序信息的模型，它通过不同模块来编码实体、关系和限定符的内容。该模型使用 Mixture-of-Experts 策略以增强表示能力并减少模型参数和计算量，实验证明其有效性。

Aug, 2023

本文提出了一种基于 Transformer 的预训练模型，通过多粒度稀疏注意力机制，从长文本中捕捉语义图结构并进行提取式摘要，实验证明 HETFORMER 在 Rouge F1 上具有最先进的性能，同时使用更少的内存和参数。

Oct, 2021

本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

本文提出了一种命名为 SparseFormer 的新方法，以在端到端的方式中模仿人的稀疏视觉识别，其中 SparseFormer 使用稀疏特征抽样过程，在潜在空间中使用极少量的标记（降至 49），而不是在原始像素空间中处理密集单元，从而具有更低的计算成本。SparseFormer 在 ImageNet 分类基准数据集上的实验表明，它具有与规范或已建立模型相当的性能，同时提供更好的准确度 - 吞吐量权衡，并且设计我们的网络可以以更低的计算成本轻松扩展到视频分类。

Apr, 2023

本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

Jun, 2023

借助基于 Transformer 的体系结构和注意力层，自动捕捉特征交互，并通过引入异构自注意层和 extsc {Hiformer} 模型在工业中应用，解决了将 Transformer 体系结构应用于网络规模推荐系统的挑战，证实了 extsc {Hiformer} 模型在关键参与度指标上的显著改善。

Nov, 2023

本文介绍了一种使用稀疏和局部超图神经网络（SpaLoc）学习解决大规模实际领域中这种问题的方法，其利用稀疏矩阵表示和信息足够性的抽样过程，提高了学习和推理的效率，并在几个实际且大规模的知识图谱推理基准测试中实现了最先进的性能。

Mar, 2023

本文提出了一种自动估计表格数据特征间关系的图估算器，根据所建立的关系图组织各独立特征并实现节点间的有序交互，进而进行表格学习。结合该方法，我们提出了一种基于 Transformer 网络的 T2G-Former，能够在不同层次上收集 T2G-Former 中的显著特征并加以综合，实现对表格数据进行有效处理和预测，进而取得了优异的表现。

Nov, 2022

SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

Oct, 2023

本文介绍了一个框架，它使用多个聚合器从 base triple 和 qualifiers 两个角度来学习超关系事实的表示，并证明了其在多个数据集上进行超关系知识图完整性的有效性。

Aug, 2022