SIGIRMar, 2024

EulerFormer：基于复杂向量注意力的顺序用户行为建模

PDF
TL;DR该研究提出了一种名为 EulerFormer 的新型变体 Transformer 模型，利用复向量注意力机制动态地整合语义差异和位置差异，并通过相位对比学习任务来改善上下文表示的各向异性。在四个公共数据集上进行的广泛实验证明了该方法的有效性和效率。
transformer modelsself-attention mechanismeulerformersemantic differencepositional difference
发现论文，激发创造
  • EcoFormer：线性复杂度的节能注意力

    提出了一种新的 Transformer 模型的压缩方法 EcoFormer，通过核化哈希将查询和键映射为低维二进制码，并在自监督学习的方式下匹配注意力图中提取的相似关系，可以实现 Attention 机制的线性复杂度并在芯片能耗上节省很多资源。

    Sep, 2022

  • cosFormer: 重新思考注意力机制中的 Softmax

    本文提出了一种线性可替换 softmax attention 的转换器 ——cosFormer，通过线性操作和余弦基础距离重新加权机制，保证了注意矩阵非负性和分布可以集中，并在语言建模和文本理解任务中取得了很好的效果。

    Feb, 2022

  • PermuteFormer：用于长序列的高效相对位置编码

    本文讨论了如何将相对位置编码添加到 Performer 模型中，提出了一种基于 Performer 模型的相对位置编码的模型 PermuteFormer。在长序列数据集 Long-Range Arena 和语言建模数据集 WikiText-103 中进行的实验证明，PermuteFormer 几乎没有计算开销，并且在大多数任务上优于基于 Vanilla Transformer 的 Performer 的性能。

    Sep, 2021

  • RoFormer: 带旋转位置嵌入的增强 Transformer

    本篇论文研究了在语言模型中如何整合位置信息，并提出了一种名为 RoPE 的方法，它可以将位置信息编码为旋转矩阵，并同时将显式的相对位置依赖性结合到自注意力公式中。实验结果表明，RoPE 使 transformer 在处理长文本分类问题时表现出优越的性能。

    Apr, 2021

  • DualFormer：面向高效视频识别的分层局部全局 Transformer

    本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高效率并在五个视频基准测试上验证了 DualFormer 的优越性能。

    Dec, 2021

  • EdgeConvFormer：多变量时序异常检测基于动态图卷积神经网络和 Transformer

    基于 Transformer 的 EdgeConvFormer 模型能够从多变量时间序列数据中学习空间 - 时间关联，并在不同尺度的真实世界数据集上实现比现有方法更好的异常检测性能。

    Dec, 2023

  • EFormer：专注于肖像抠图前景语义轮廓特征的增强 Transformer

    我们提出了 EFormer 方法，用于增强模型对语义和轮廓特征的注意力，特别是后者，通过建立语义和轮廓探测器 (SCD) 来准确捕捉它们的分布，最终通过融合这两种特征生成预测的肖像 alpha matte。实验表明，EFormer 方法在肖像抠图任务中优于之前的方法。

    Aug, 2023

  • ConvFormer：重新审视用于顺序用户建模的 Transformer

    用户行为序列模型是个性化推荐系统中的关键任务之一，本文通过重新审视 Transformer-like 架构，并引入 ConvFormer，提出了三个设定高效的序贯用户模型的关键准则，从而取得了最先进的结果。

    Aug, 2023

  • FaceFormer：基于 Transformer 的语音驱动 3D 面部动画

    提出了一种基于 Transformer 的自回归模型，称为 FaceFormer，用于声控 3D 面部动画。该模型能够对长时间音频上下文进行编码，并自回归预测一系列动画 3D 面网格。通过自监督预训练语音表示，使得该模型能够成功解决数据稀缺问题。同时，设计了两种有偏的注意机制，并进行为这个特定任务进行优化。大量实验证明，该方法优于现有的最先进技术。

    Dec, 2021

  • 高效远程 Transformer：你需要参与更多，但不一定是每一层

    提出了一种名为 MASFormer 的变种 Transformer 模型，它通过混合的注意力机制在处理长序列数据时既能捕捉到长距离依赖关系，又能在其余层使用稀疏注意力提高计算效率。实验结果表明，该模型在自然语言建模和生成任务中能够达到与全注意力的 Transformer 模型相媲美的性能，同时显著降低计算成本（多达 75%），并对长序列数据的持续训练和序列长度对下游生成任务的影响进行了研究。

    Oct, 2023