Jun, 2020

基于神经注意力过程的经济高效交互式注意力学习

PDF
TL;DR本文提出了一种新的交互式学习框架，即交互式注意力学习（IAL），其中人类监督者可以交互地操纵分配的注意力来纠正模型的行为，并通过更新注意力生成网络来进行修正。通过使用样本高效的注意力机制和一种小样本成本有效的重排算法，本文解决了模型过度拟合和标注匮乏等挑战，将 IAL 在多个领域（如医疗保健、房地产、计算机视觉）的多种时间序列数据集上进行验证，证明了其在几乎不需要重新训练和人力交互成本的情况下，显著优于传统注意力机制或不考虑成本效益的基准方法。
interactive learningattention mechanismneural attention processsample-efficientcost-effective
发现论文，激发创造
  • 通过交互式注意力对齐，将人类和深度神经网络的眼睛对准

    提出了一种交互式注意力对齐（IAA）框架，旨在实现可操纵的深度神经网络（DNNs），其中利用 DNN 模型解释方法作为交互媒介，直接调整注意力以改善 DNN 的准确性和公正性，并提出了一个计算流程，即 GRADIA，可以同时最大化注意力质量和预测准确性。通过两项研究，发现这种框架可以显著提高模型准确性和公正性，为未来交互式用户界面设计提供了启示。

    Feb, 2022

  • 利用连续注意力模型实现鲁棒性图像分类

    本文提出了一种受人类感知启发的注意力模型，并将其融合到现代神经网络架构中。实验结果表明，引入注意力机制可以显著提高模型的对抗鲁棒性，在各种随机攻击强度下可以达到最先进的 ImageNet 准确度；通过控制注意力步骤的数量可以使模型的防御能力更强，并且可以对抗更强的攻击；攻击模型生成的对抗样本有着与传统对抗样本不同的全局、显著和空间一致的结构，这些结构来自目标类别并且甚至可以被人类识别，会使模型注意力从原始图像中的主要物体分散开来。

    Dec, 2019

  • 通过学习人类关注特征图增强机器人学习

    本文提出一种新颖的方法来模拟和模拟人类注意力的近似预测模型，并将其作为结构化辅助特征图输入到下游学习任务中，通过在物体检测和模仿学习两个任务中的应用实验证明了人类注意力的预测可以提高训练模型的鲁棒性和在低数据情景下的快速学习。

    Aug, 2023

  • 知识增强注意力用于稳健的自然语言推理

    本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。

    Aug, 2019

  • 神经机器翻译的交互式注意力

    本研究提出了一种名为 INTERACTIVE ATTENTION 的注意力机制，可以通过读写操作来建模解码器与源句子表示之间的交互，从而跟踪交互历史并提高翻译效果，实验结果表明，与基线和某些注意力机制的改进相比，使用 INTERACTIVE ATTENTION 的神经机器翻译系统可以在多个测试数据集上平均优于开源的 attention-based NMT 系统 Groundhog 4.22 BLEU 分数和开源短语 - based 系统 Moses 3.94 BLEU 分数。

    Oct, 2016

  • 探究视觉问答中人类注意力监督

    本研究主要针对如何将注意力监督应用于基于 Attention 机制的视觉问答任务中，提出人类注意力网络（HAN）来生成类似于人类的注意力图，并将其应用于 VQA v2.0 数据集中。实验结果表明，该方法能够产生更准确的注意力机制和更好的性能。

    Sep, 2017

  • 从人工智能学习：一种融合专家知识作为教师的交互式深度学习方法

    本研究提出了一种 “从 AI 学习” 的方法，该方法在深度学习模型中融入了专家知识，通过交互编辑注意力地图来学习判断依据，实现了比传统方法更高效的学习效果。

    Jun, 2023

  • U-GAT-IT：自适应层 - 实例归一化的无监督生成式注意力网络用于图像翻译

    本文提出了一种新的无监督图像到图像的转换方法，它通过引入一个新的注意力模块和一个可学习的规范化函数，以端对端的方式来实现。

    Jul, 2019

  • 可解释性注意力：适用于少样本学习及其扩展

    通过深度强化学习实现硬注意力的概念，直接影响原始输入数据，从而为人类理解提供解释性的硬注意力定位方法。

    Oct, 2023

  • 注意力神经网络：使用认知反馈进行特征选择

    提出了一种新的基于自上而下的认知偏见和自下而上的特征提取相结合的注意力神经网络框架，能够在处理高噪声或难以分割的问题时取得预期，模块化和可扩展，并能够适应复杂行为模式，在 MNIST 变分数据集上获得了与现有技术相当或更好的分类准确性和成功地分离重叠数字。

    Nov, 2014