IJCAIDec, 2021

使用凝视行为进行自然语言处理的调查

PDF
TL;DR本文讨论了在自然语言处理中解决不同任务时使用注视行为的方法，重点在于研究减轻运行时记录注视行为需求的方法，并提及了现有的多语言注视行为数据集，最后讨论了在教育领域中应用注视行为的方法与其可以帮助解决的问题。
发现论文，激发创造
  • 不看文章，纯凭眼动追踪与多任务学习的作文打分方法

    本文介绍一种使用多任务学习框架在运行时学习注视行为以提高自动化论文评分效率的方法。研究通过对多组作文进行了 AD 集合的 gaze behavior 数据收集演示了该方法的有效性，并在无 Gaze Behavior 数据的集合中实现了显著的表现提升。

    May, 2020

  • 借助认知语言处理信号推动自然语言处理

    使用认知处理数据（如注视模式和脑电图特征）可以显著提高文本处理任务的性能，但在不同任务和数据源上具有局限性。

    Apr, 2019

  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023

  • 通过人类注视引导的神经注意力提高自然语言处理任务

    我们提出了一种新型混合文本显著性模型 (TSM)，首次将阅读的认知模型和显式的人类注视监督相结合，将 TSM 的预测与人类注视的真实数据高度相关，并提出了一种新的联合建模方法，将 TSM 的预测集成到网络的注意层中，从而实现了人类注视引导的神经注意力与 NLP 任务的结合，其在 QUora 问题对语料库的释义生成任务中优于当前技术水平的 PERFOMANCE BY MORE THAN 10% BLEU-4，并在 Google 句子压缩语料库中实现了最先进的性能，从而介绍了一种实用的方法，将数据驱动模型和认知模型之间桥接起来，并展示了将人眼引导的神经关注集成到 NLP 任务中的新方法。

    Oct, 2020

  • 一见之下的实体识别：利用眼动信息提高命名实体识别

    本文介绍通过利用三个带有注释的语料库记录的注视信息，使用注视嵌入来改善 NER 模型，用于识别命名实体，展示了借助眼动数据可以提高自然语言处理模型性能的好处

    Feb, 2019

  • 理解机器人学习过程中教师凝视模式

    该研究探讨了人类在机器人示范任务中的凝视模式，提出了如何利用这些模式来增强机器人的学习，进而提出了两种基于凝视数据的算法，并证明了这些凝视数据可以提高多步骤任务的子任务分类达 6％，提高单步任务的奖励推断和策略学习达 67%。

    Jul, 2019

  • 与人类视线互动的神经图像字幕生成

    通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

    Aug, 2016

  • 衡量（心理）语言和易读性特征以及它们的溢出效应对预测眼动模式的影响

    本文报告了两个眼动追踪语料库和两种语言模型（BERT 和 GPT-2）的实验结果。实验表明，预测自然阅读过程中多种眼动追踪参数时，包含的特征和基于 transformer 的语言模型的架构都发挥了作用。同时通过 SP-LIME，实验分析了不同特征组的相对重要性。

    Mar, 2022

  • 凝视意图估计：在 HRI 中的原理、方法和应用

    该论文综述了视觉注意力、眼动追踪及基于注视点的意图识别在智能机器人、电信系统和辅助机器人系统中的应用，并强调了设计这些系统时需要考虑的重要人因素问题和当前的限制。

    Feb, 2023

  • 认知感知同源词检测

    本文提出了一种新的方法，利用人类阅读者的凝视行为提取认知特征，用于自动检测同源词，并通过使用搜集到的和预测的视线行为数据，证明该方法可以帮助提高同源词检测任务的性能提高 10%，相比之前的方法预测视线行为数据的性能提高了 12%。

    Dec, 2021