Jan, 2024

高斯自适应注意力是你所需的一切：跨多种模态的强大情境表示

PDF
TL;DR多头高斯自适应注意力机制（GAAM）和高斯自适应变换器（GAT）能够增强跨多种模态（包括语音、文本和视觉）的信息聚合，有效提升模型性能，特别是在处理高度非平稳数据时的准确度可以提升 20% 左右，并通过识别特征空间中的关键元素，进一步展示了模型的适应性和潜力。GAAM 不仅兼容基于点积的注意力模型，而且参数较少，展现了其对现有注意力框架的提升能力和潜在价值。通过实验证明，GAAM 在多种任务上具备出色的适应性和效果，包括情感识别、图像分类和文本分类，从而显示出其在处理多模态数据方面的健壮性和多功能性。此外，该研究还引入了重要性因子（IF），一种基于学习的度量指标，增强了 GAAM 方法训练模型的可解释性。总体而言，GAAM 代表了跨多模态的注意力模型在性能和可解释性方面的进展。
multi-head gaussian adaptive attention mechanismgaussian adaptive transformerprobabilistic attention frameworkmulti-modal dataimportance factor
发现论文，激发创造
  • Transformer 的广义注意机制和相对位置

    本文提出了广义注意力机制 (GAM)，揭示了 Vaswani 等人的自注意力机制的新解释，提供了不同变体注意力机制和 GAM 框架中的新相对位置表示，并可简单应用于不同数据集中元素的不同位置的情况。

    Jul, 2022

  • GaAN: 基于门控注意力的大规模时空图学习网络

    该文提出了一种新的网络架构 —— 门控注意力网络（GaAN），用于学习图形。该架构使用卷积子网络来控制每个注意力头的重要性，证明了其在归纳节点分类问题和交通速度预测问题上的有效性，并在三个真实世界数据集上取得了最先进的结果。

    Mar, 2018

  • 用引导注意力改进 ASR 上下文偏见

    通过引入引导注意力（GA）辅助训练损失，本研究提出了一种改进自动语音识别（ASR）上下文偏置的有效性和鲁棒性的方法，该方法在不引入额外参数的情况下改善了偏置短语数量增加时上下文偏置所能带来的字错误率（WER）减少。通过在 Conformer Transducer with Contextual Adapter 基础上进行大量实验，证明了所提出的方法不仅能降低 WER，而且在偏置短语数量增加时仍然保持其有效性。

    Jan, 2024

  • GAFlow：将高斯注意力融入光流

    本文通过将高斯注意力引入光流模型，以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性，提出了一种全新的高斯约束层（GCL）和高斯引导注意模块（GGAM）。GAFlow 网络是一个完整的模型，将这些高斯基于模块自然地融入传统的光流框架中，用于可靠的运动分析。在标准光流数据集上进行的广泛实验一致证明了所提方法在泛化能力评估和在线基准测试方面的优异性能。

    Sep, 2023

  • 高斯注意力模型及其在知识库嵌入和问答中的应用

    该论文提出了高斯注意模型，该模型用于神经记忆访问，知识库的连续向量空间嵌入，实现对知识库实体的问答，并成功应用于 2014 年 FIFA 世界杯球员数据集的路径和联合查询。

    Nov, 2016

  • T-GSA：具有高斯加权自注意力机制的变形金刚网络用于语音增强

    本文提出了一种高斯加权自注意力 Transformer 神经网络 (T-GSA)，通过自注意力机制的加权距离缩减，实现了显著的语音增强性能改进，在长程依赖任务中实现了并行化计算。

    Oct, 2019

  • 基于双向注意力对多模态情感识别的群门融合

    本文提出了一种新的模型 —— 门控双向对齐网络（GBAN），该模型利用注意力机制的双向对齐网络和一种新颖的分组门控融合层来明确捕捉语音和文本之间的对齐关系，并在不同模态中集成表示，从而在 IEMOCAP 数据集上优于现有的最先进的多模态方法。

    Jan, 2022

  • 用高斯约束的注意力网络进行场景文本识别

    提出一种基于高斯约束注意力网络的场景文本识别方法，用于处理现有注意力机制中的注意扩散问题，从而提高了识别网络的性能。

    Oct, 2020

  • 点云分析的梯度关注模块优化

    本文提出了一种基于梯度的局部注意力模块，即梯度注意力模块（GAM），以解决点云分析中现有局部特征融合不足的问题，并在五个数据集上进行了全面实验以证明其有效性和泛化能力，尤其在 S3DIS 数据集上表现最佳，精确度、全局准确率、平均精确度分别达到 74.4％/90.6％/83.2％。

    Mar, 2023

  • 高斯多头注意力机制用于机器翻译

    本文提出了 Gaussian Multi-head Attention（GMA）模型，用于开发一种新的 SiMT 策略，并通过模拟对齐和翻译来实现对齐的学习，该方法在 En-Vi 和 De-En 任务中的实验表明，它在翻译和延迟之间的权衡上优于强基线。

    Mar, 2022