EMNLPJun, 2020

使用凝视分类指示性和非指示性 it

PDF
TL;DR利用眼动数据和词性标注器，并通过具有区分能力的特征表明解决代词消歧的方式可提高 it 自动分类的准确性。
pronoun disambiguationeye-tracking datapos-taggergaze featureslinguistic-based approaches
发现论文，激发创造
  • 利用互联网识别多余的 it

    本文提出了一种新颖的方法来识别 pleonastic 代词的使用，通过对网络进行一系列查询和使用简单的句法规则来识别离位情形，该方法在四组新闻文章中得到了评估。

    Jan, 2014

  • 一见之下的实体识别：利用眼动信息提高命名实体识别

    本文介绍通过利用三个带有注释的语料库记录的注视信息，使用注视嵌入来改善 NER 模型，用于识别命名实体，展示了借助眼动数据可以提高自然语言处理模型性能的好处

    Feb, 2019

  • 使用语言和手势的具身化参考理解

    本文介绍了 YouRefIt，这是一个以多模态引用为基础的数据集，集合了 432 个室内场景中 4195 个唯一的引用片段，并介绍了两种基准图像和视频的多模态引用理解方法。实验提供了关于如何理解参考表达和手势对物理情境引用的重要证据。

    Sep, 2021

  • 实用限制与代词指代消歧：可能与不可能

    本文探讨了在自然语言处理和语言学研究中，代词消歧通常需要应用一般语用知识和特定上下文信息，其中包括对代词引用模式进行研究。

    Apr, 2022

  • 视频中的对象指称：基于语言和人类凝视

    本研究提出了一种利用视频中物体的运动特征、人眼注视和时空语境等信息进行对象指称的新型神经网络模型，并使用一个包含 30,000 个对象的测试数据集验证了该模型的有效性。

    Jan, 2018

  • 所见即所得：对话中视觉代词共指消解

    本文讨论了在会话中处理代词回指的复杂性，并提出一种基于视觉信息的模型来解决这一问题。经过对提出模型的数据集进行对比试验，证明了视觉信息在代词回指中的重要性和所提出模型的有效性。

    Sep, 2019

  • 零样本图像分类中的注视嵌入

    本文提出一种依靠人类凝视作为辅助信息的零样本图像分类方法，通过数据收集范式和提取判别性描述符来构建图像和凝视的兼容性函数，实现了细粒度图像分类和比基准更优秀的零样本分类结果。

    Nov, 2016

  • 使用凝视行为进行自然语言处理的调查

    本文讨论了在自然语言处理中解决不同任务时使用注视行为的方法，重点在于研究减轻运行时记录注视行为需求的方法，并提及了现有的多语言注视行为数据集，最后讨论了在教育领域中应用注视行为的方法与其可以帮助解决的问题。

    Dec, 2021

  • 使依存句法分析器具备视觉能力

    探讨如何在 RNN 依赖解析器（用于英语）中利用仅在训练期间可用的注视跟踪数据，即推理时间不使用聚合或令牌级注视特征。为此，我们训练了一个多任务学习模型，它将句子解析为序列标签，并利用注视特征作为辅助任务。我们的方法还学习如何从不相交的数据集中训练，即它可以用于测试已经收集的注视特征是否有助于提高在新的非注视注释树库上的性能。精度增益虽然不大但仍是积极的，表明这种方法是可行的。它可以作为一个第一步，朝着能够更好地利用注视跟踪数据或其他仅在训练句子时可用的补充信息的体系结构，可能导致在句法解析中的性能改进。

    Sep, 2019

  • 与人类视线互动的神经图像字幕生成

    通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

    Aug, 2016