通过对 transformer 中不同标记和 graph neural network 中不同节点在深层的相似性进行分析，我们提出了一个简单的修正项，它可以有效地消除过度平滑问题，在弱监督分割任务上表现优于通常基准方法，并且在非常深的图神经网络架构训练上显著提高了训练效果。

Jun, 2023

本文针对 Transformer-based models 中存在的过度平滑问题，从图的角度进行分析，发现标准化层在过度平滑问题中发挥了关键作用，提出了一种基于层次融合策略的方法以缓解该问题。

Feb, 2022

本文通过实验表明，构建基于 relaxed attention 的 transformer 架构，可以通过抑制自动回归 transformer 解码器的内部语言模型，实现有效地整合外部语言模型，并且提高了通用 transformer 架构的正则化能力。

Sep, 2022

本文使用注意力机制定义了一组新颖的置换等变的权值空间层，并将它们组合成深度等变模型，称为神经功能变压器 (NFTs)，并利用 NFTs 开发了 Inr2Array，一种从隐式神经表示的权重中计算置换不变潜在表示的新方法。

May, 2023

提出 SOftmax-Free Transformer (SOFT)，其采用高斯核函数替代点积相似度，从而能够通过低秩矩阵分解逼近完整的自注意力矩阵，该模型能够明显提高现有 ViT 变体的计算效率，同时具有线性复杂度，且能够容纳更长的令牌序列，优化了准确率和复杂度之间的权衡。

Jul, 2022

用注意机制来设计神经操作器，在函数空间中进行 Transformers 的研究，证明其作为实践中的 Monte Carlo 或有限差分近似算符，同时介绍了函数空间泛化的 patching 策略和相关神经操作器的类，证明其在注意力函数空间表述和神经操作器中的应用的潜力。

Jun, 2024

当前大规模预训练和微调 Transformer 大型语言模型的范式在自然语言处理方面取得了显著的进展，然而这种大型模型容易在训练数据上过拟合，在领域变化时性能表现差，而将非参数变分信息瓶颈（NVIB）框架扩展到 Transformers 的所有类型的注意力函数可以解决过拟合问题，改变初始化可以引入一种新的基于信息论的后训练正则化的注意机制，提高领域外泛化能力，这证实了预训练的 Transformer 模型隐式地是 NV 贝叶斯模型。

Dec, 2023

论文研究了 Transformer 网络模型训练的问题，并提出了一种新的凸分析方法来解决这个问题，进而提供了这些网络模型的理论解释以及性能优化方法。

Nov, 2022

Transformers 在自然语言处理中变得至关重要，在机器翻译和摘要等应用中取得了显著成功。然而，与现有观点相反，本研究发现 Transformers 在可靠地逼近连续函数方面存在困难，依赖于具有较大区间的分段常数逼近。通过理论分析和实验证据，我们全面调查了这一问题并揭示了 Transformers 的限制根源，凸显了对其能力的精确理解的重要性。

Feb, 2024

提出了一种 softmax-free transformer 或 SOFT 方法，通过使用高斯内核函数替换点积相似性，而不需要标准化以消除 softmax，在计算复杂度上具有线性复杂度，并显著提高了已有 ViT 变种的计算效率。

Oct, 2021