ACLDec, 2016

探索用于不确定性检测的不同关注维度

PDF
TL;DR本文中我们为不确定性检测开发了注意力机制的神经网络，引入外部注意力和序列保持注意力等新的架构，并通过多个注意力维度与其他配置进行了比较。这些新的架构在一个 Wikipedia 基准数据集上取得了新的 state-of-the-art，在使用大量语言特征的生物医学基准测试中与现有技术相似。
发现论文，激发创造
  • 基於不確定性的注意力機制用於可靠的解釋和預測

    通过引入输入相关的不确定度来学习输入不确定的实例的更大方差， 我们使用变分推断学习了不确定性感知注意力机制， 并在不同的高风险预测任务中验证了其有效性。进一步的评估表明，我们的模型生成符合临床医生解释的注意力，并通过学习方差提供更丰富的解释。

    May, 2018

  • 自然语言处理中的注意力

    本文提出一种统一的注意力机制模型，针对自然语言处理领域中基于文本数据向量表示的注意力机制的四个维度进行了分类。本文通过举例说明如何在注意力模型中利用先前信息，并讨论了该领域正在进行的研究工作和开放性挑战。这是该领域中广泛文献的首次广泛分类。

    Feb, 2019

  • 适用于序列分类的神经注意力模型：分析及其在关键术语提取和对话行为检测中的应用

    本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。

    Mar, 2016

  • 超越自注意力：用两个线性层的外部注意力处理视觉任务

    本文提出了外部注意力机制，它在现有流行的架构中方便地替换自我注意力，具有线性复杂度，隐含地考虑所有数据样本之间的关联，结合多头机制提供了外部注意力 MLP（EAMLP）体系结构，用于图像分类和其他任务中可提供与或优于自我注意力机制及其变体相当的结果，且计算和内存成本较低。

    May, 2021

  • 摘要文档生成的注意力优化

    该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。

    Oct, 2019

  • 外部注意力增强自注意力，实现常识问答人类水平

    该论文提出了一种名为 KEAR 的系统，即知识化外部关注作用于常识推理，能够显著提高现有 AI 系统的性能，在 CommonsenseQA 上达到了人类水平的正确率。

    Dec, 2021

  • 通过关注矩阵的拓扑分析评估变压器预测的不确定性

    基于 Attentiion 机制的拓扑数据分析方法用于预测深度学习模型的置信度，与传统方法相比，该方法在质量上超越现有方法，开辟了新的应用领域，但需要选择拓扑特征。

    Aug, 2023

  • 注意力不等于解释

    通过多个 NLP 任务的广泛实验，发现学习的注意力权重往往与基于梯度的特征重要性测量之间存在不相关性，表明标准的注意力模块并不能提供有意义的解释并且不应该被视为能够提供这种解释。

    Feb, 2019

  • 利用连续注意力模型实现鲁棒性图像分类

    本文提出了一种受人类感知启发的注意力模型，并将其融合到现代神经网络架构中。实验结果表明，引入注意力机制可以显著提高模型的对抗鲁棒性，在各种随机攻击强度下可以达到最先进的 ImageNet 准确度；通过控制注意力步骤的数量可以使模型的防御能力更强，并且可以对抗更强的攻击；攻击模型生成的对抗样本有着与传统对抗样本不同的全局、显著和空间一致的结构，这些结构来自目标类别并且甚至可以被人类识别，会使模型注意力从原始图像中的主要物体分散开来。

    Dec, 2019

  • 注意力的夸克

    本文研究了注意力机制的基本构建块及其计算性质，提出三种最重要的机制：加性激活注意力，乘性输出注意力（输出门控）和乘性突触注意力（突触门控），并证明加性激活注意是基本电路的下限证明中的重要角色。

    Feb, 2022