Oct, 2020

通过人类注视引导的神经注意力提高自然语言处理任务

PDF
TL;DR我们提出了一种新型混合文本显著性模型 (TSM)，首次将阅读的认知模型和显式的人类注视监督相结合，将 TSM 的预测与人类注视的真实数据高度相关，并提出了一种新的联合建模方法，将 TSM 的预测集成到网络的注意层中，从而实现了人类注视引导的神经注意力与 NLP 任务的结合，其在 QUora 问题对语料库的释义生成任务中优于当前技术水平的 PERFOMANCE BY MORE THAN 10% BLEU-4，并在 Google 句子压缩语料库中实现了最先进的性能，从而介绍了一种实用的方法，将数据驱动模型和认知模型之间桥接起来，并展示了将人眼引导的神经关注集成到 NLP 任务中的新方法。
neural attention mechanismshuman gazemachine learningparaphrase generationsentence compression
发现论文，激发创造
  • 利用人类注视数据监督视频字幕生成神经注意模型

    本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

    Jul, 2017

  • 利用合成扫视路径增强的预训练语言模型用于自然语言理解

    整合了合成扫视路径生成和扫视路径增强的语言模型，消除了对人类注视数据的需求，并具有与真实数据增强的语言模型相媲美的性能。

    Oct, 2023

  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023

  • 与人类视线互动的神经图像字幕生成

    通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

    Aug, 2016

  • Transformer 模型是否显示出与任务特定的人类凝视类似的注意力模式？

    通过比较两个任务特定的阅读数据集，研究表明，大规模预训练自注意力模型对于人类注意力的预测能力依赖于罕见语境的句法性质，而任务特定的微调不增加与人类阅读的相关性，并且通过输入减少实验给出了互补信息，表明低熵的注意向量更为可靠。

    Apr, 2022

  • GazeGPT: 使用凝视灵活背景人工智能增强人类能力的智能眼镜

    通过使用凝视相关的机制，GazeGPT 作为一种新的用户交互范式，利用眼动追踪技术帮助 LMM 理解用户关注的世界摄像头视野中的对象，显著提高了用户在狗品种分类任务中的准确性，被认为比头部或身体驱动的选择机制更自然，并且在未来的 AI 驱动个人助理中具有重要价值。

    Jan, 2024

  • 带有受监督注意力的神经机器翻译

    本论文研究了注意力机制在神经机器翻译中生成对齐的问题，并从重新排序方面分析和解释了这个问题。提出了一种受传统对齐模型指导学习的监督注意力机制，实验表明，这种机制比标准注意力机制产生更好的对齐效果，并且在中英文翻译任务中均有显著提高。

    Sep, 2016

  • 限制记忆能力的语言模型捕捉人类句子处理中的干扰

    该研究通过开发一个具有单个自注意头的循环神经语言模型，捕捉到了人类实验中观察到的语义和句法干扰效应。

    Oct, 2023

  • 通过联合建模注视和场景显著性来通用关注估计：连接注视，场景和注意力

    本文研究了如何在自然社交场景下，通过多任务学习方法精准地估计人们在图像中的视觉关注与注视点，特别考虑了视线方向及目标超出画面的情况。该方法在多项测试中取得了优异表现，扩展了现有数据集，公开发布。

    Jul, 2018

  • 注视引导的循环神经网络：较长的注视，更多的计算

    通过固定点引导的并行 RNN 或层，将机器学习模型使其更像人类阅读，并通过语言建模和情感分析任务的实验来测试其有效性，从而提供了经验验证此直觉的证据。我们的模型在语言建模任务上表现出良好的性能，明显优于基准模型，并发现神经网络预测的固定点持续时间与人类的固定点有相似之处。模型在没有明确引导的情况下做出与人类相似的选择，并调查了它们之间差异的原因，解释了为什么 “模型固定点” 在指导语言模型时往往比人类的固定点更合适。

    Oct, 2023