Oct, 2021

Skyformer：高斯核与 Nyström 方法重构自注意力

PDF
TL;DR本文提出了 Skyformer 模型，借鉴了核机器的计算方法，通过将 softmax 结构替换为高斯核以稳定模型训练，并将 Nyström 方法调整为一个非半正定矩阵以加速计算，实验结果表明该模型不仅需要的计算资源更少，而且在大规模 Arena 基准测试中表现得不逊于完全自注意力机制。
发现论文，激发创造
  • 可训练前馈核线性自注意力近似

    本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

    Nov, 2022

  • Nyströmformer：一种基于 Nyström 方法的自注意力近似算法

    通过利用 Nyström 方法逼近标准的自注意力机制，在保证短序列数据表现不下降的情况下，提高了效率，扩大了长序列数据自注意力机制的适用范围。

    Feb, 2021

  • PolySketchFormer：基于草图的快速 Transformer 用于多项式核函数

    该研究论文通过使用多项式函数和多项式取样法，替代基于 softmax 的注意力机制，以及提出基于区块的算法，实现了一个能够在线性时间内计算多项式注意力机制的实用线性变换器架构，从而显著提高了大规模上下文下的注意力机制的速度。

    Oct, 2023

  • 自注意力通过核 - 特征值对稀疏变分高斯过程

    通过使用 Kernel-Eigen Pair Sparse Variational Gaussian Processes (KEP-SVGP)，解决了注意力核的非对称性问题，并获得了降低时间复杂度的方法，验证了其在多个基准测试中的出色性能和有效性。

    Feb, 2024

  • cosFormer: 重新思考注意力机制中的 Softmax

    本文提出了一种线性可替换 softmax attention 的转换器 ——cosFormer，通过线性操作和余弦基础距离重新加权机制，保证了注意矩阵非负性和分布可以集中，并在语言建模和文本理解任务中取得了很好的效果。

    Feb, 2022

  • 选择变换方法：傅里叶或伽辽金

    本文介绍了一种基于 Transformers 的 Galarkin 变换学习器，能够在解决偏微分方程方面，显著提高训练成本和评估准确性。

    May, 2021

  • SASQuaTCh：一种带有基于核的自注意力的新型变分量子变换器架构的学习

    利用基于核操作学习的自我注意力机制的量子电路，我们提出了 Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh) 模型，该模型能够有效地表示视觉变换网络的深层特征，并展示其在简化分类问题上的实用性。

    Mar, 2024

  • Tensorformer: 高质量点云重建的归一化矩阵注意力变换器

    通过引入新的矩阵关注 Transformer（Tensorformer）来实现更好的局部几何建模和更高质量的表面重建，成果在两个常用的数据集上均已超越同行，并在 ShapeNet 上取得 4％的 IOU 改进。

    Jun, 2023

  • 使用鲁棒核密度估计设计健壮性 Transformer

    该论文研究了如何对 Transformer 架构应用一系列可靠的核密度估计方法，使其具有鲁棒性，实现对于污染数据的稳健性，并在语言模型和图像分类任务中进行了多项实证研究，结果表明该方法在多种场景下具有高鲁棒性。

    Oct, 2022

  • 无 Softmax 的线性变换器

    提出 SOftmax-Free Transformer (SOFT)，其采用高斯核函数替代点积相似度，从而能够通过低秩矩阵分解逼近完整的自注意力矩阵，该模型能够明显提高现有 ViT 变体的计算效率，同时具有线性复杂度，且能够容纳更长的令牌序列，优化了准确率和复杂度之间的权衡。

    Jul, 2022