Jul, 2021

从块 - Toeplitz 矩阵到图上的微分方程：迈向可扩展遮蔽 Transformer 的普适理论

PDF
TL;DR本文提供了一种全面的方法，可以在可扩展的方式中将各种掩码机制纳入 Transformers 架构。我们提出了一种基于拓扑的建模方法，可以生成高效的 d 维 RPE 掩码和图核心掩码。
transformers architecturesmasking mechanismslinear causal attentionrpe-attentiongraph-kernel masking
发现论文，激发创造
  • StableMask：在仅使用解码器的 Transformer 中优化因果掩码

    通过改进因果掩码的方法，提出了 StableMask，解决了 decoder-only Transformer 架构中的限制，并在语言模型中得到了显著的增强。

    Feb, 2024

  • 揭开变形金刚：基于注意力权重的数据恢复理论方法

    通过注意力权重和输出，我们介绍了一个目标在恢复输入数据的算法，从而解决深度学习模型中安全和隐私问题，并揭示了模型设计中的潜在漏洞。

    Oct, 2023

  • 利用线性可扩展长上下文变换器进行蛋白质掩码语言建模

    本文介绍了一种名为 Performer 的新 Transformer 模型，它通过 Fast Attention Via Orthogonal Random features (FAVOR) 实现了线性标度并具有子二次空间复杂度和强大的理论保证，用于模拟蛋白质序列建模等复杂任务具有显著的有效性。

    Jun, 2020

  • 无位置编码的图形变换器

    Eigenformer 通过一种新颖的对 Laplacian 谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的 MP-GNN 体系结构和 Graph Transformers 相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。

    Jan, 2024

  • 图形遮罩注意力即可

    提出了一种基于注意力机制的学习图表的简单替代方法，被称为图形掩码注意力（MAG），在长距离任务上具有最先进的性能，并在超过 55 个节点和图级任务中优于强大的信息传递基线和复杂的注意力方法。与图神经网络相比，显示了显着更好的迁移学习能力，并具有与节点或边数目的次线性内存缩放相比较的相当或更好的时间和内存缩放性能。

    Feb, 2024

  • TLM：用于 Transformer 的令牌级屏蔽

    使用基于令牌级别的掩蔽训练策略，通过操纵多头注意力中的令牌连接来规范化 Transformer 的自注意力机制，以减少过拟合。该方法在多个自然语言处理任务中得到广泛评估，并证明在性能上优于其他规范化方法。

    Oct, 2023

  • 图转换器泛化能力的提升方法：关注力机制和位置编码的理论探讨

    该研究通过理论探索首次分析了浅层图变换器在半监督节点分类中的应用。它使用了自注意力和位置编码，并描述了实现理想的泛化误差所需的样本复杂度和迭代次数的定量特征。此外，文中还展示了自注意力和位置编码如何通过稀疏化注意力图和在训练过程中促进核心邻域，从而增强了图变换器的特征表示能力。实验证明了我们的理论结果。

    Jun, 2024

  • M2T：双重掩码变换加速解码

    本文演示了在神经图像压缩中应用面向遮蔽令牌预测训练的双向变压器以实现最先进的结果。通过使用预定义的、确定性调度，本文证明这些模型在图像压缩方面表现良好。同时在训练过程中使用面向遮蔽的关注力以及在推断过程中使用激活缓存，能够使我们的模型显著地加速（推理速度提高了 4 倍），同时只需轻微提高比特率。

    Apr, 2023

  • 带可逆注意力的生成流

    本文介绍了两种可逆注意力机制，即基于映射和变换器的注意力，用于无条件和有条件的生成流。这些注意力机制利用掩码方案学习生成流上的长程数据依赖关系，并产生更有效的生成流模型，证明了其与最先进的生成流相比的优越性。

    Jun, 2021

  • 通过关注矩阵的拓扑分析评估变压器预测的不确定性

    基于 Attentiion 机制的拓扑数据分析方法用于预测深度学习模型的置信度，与传统方法相比，该方法在质量上超越现有方法，开辟了新的应用领域，但需要选择拓扑特征。

    Aug, 2023