Apr, 2023

Eyettention: 一种基于注意力的双序列模型，用于预测阅读过程中人类扫视路径

PDF
TL;DR本文提出了一种名为 Eyettention 的双序列模型，它可以同时处理词序列和注视序列，通过交叉序列注意机制实现了两个序列的对齐，并在不同的语言数据集上进行了广泛评估和深入分析。结果显示，Eyettention 在预测扫描路径方面表现优于现有模型。
eye movementsscanpathseye-tracking-while-reading datadual-sequence modelcross-sequence attention mechanism
发现论文，激发创造
  • ScanDL: 一种在文本上生成合成扫描路径的扩散模型

    我们提出了一种基于离散序列到序列扩散模型的 ScanDL，通过利用预训练的词表示和联合嵌入刺激文本和注视序列，捕捉两个输入之间的多模式交互。我们在数据集内外进行了评估，并证明它明显优于最先进的扫视路径生成方法，最后，我们进行了广泛的心理语言学分析，突出了该模型展示人类阅读行为的能力。

    Oct, 2023

  • 每个词都很重要：一种多语言分析模型注意力与个人对齐的方法

    通过分析母语和英语学习者阅读不同语言时的眼动数据，发现个体阅读行为会影响人类和模型之间的关联性，这需要在未来的研究中被考虑进去。

    Oct, 2022

  • 神经注意力模型人类阅读

    本篇论文通过使用无监告运算架构的神经注意力和自编码，探讨了人类阅读时的跳过现象和读取过程的计算，提出了一种新的方法，并在 Dundee 眼球追踪语料库上对该模型进行了评估，表明它能够很好的预测跳过行为和阅读时间，捕捉了人类阅读的已知定性特征。

    Aug, 2016

  • 人类关注下的句子表示学习

    研究发现，将不同权重分配给句子中的单词能够有效提高句子的表达能力，该论文提出了两种基于 Surprisal、POS tags 和 CCG supertags 的注意力机制模型用于改进句子表示，实验证明这种方法显著优于现有模型。

    Sep, 2016

  • 基于眼动的神经序列模型对汉语研究者和失读者的分类

    本文提出两个能够处理整体刺激物的简单序列模型，不需要对句子中所有单词进行特征聚合，同时根据儿童的眼动情况，从语言学角度研究汉语读者的识别障碍。结果表明，使用序列模型可以在眼动序列上识别视觉障碍，但将语言刺激考虑在内并无法提高识别率。

    Oct, 2022

  • 利用合成扫视路径增强的预训练语言模型用于自然语言理解

    整合了合成扫视路径生成和扫视路径增强的语言模型，消除了对人类注视数据的需求，并具有与真实数据增强的语言模型相媲美的性能。

    Oct, 2023

  • 基于眼动的读者识别和文本理解评估的判别模型

    研究读者通过阅读时眼动观察来推断其身份并估计文本理解水平的问题，通过使用词法特征的个体注视模式（扫描路径）的生成模型，得出基于眼动数据的 Fisher-SVM 的 Fisher 核方法，结果表明 Fisher-SVM 在识别读者身份上表现出色。

    Sep, 2018

  • 统一动态扫视路径预测器优于单独训练模型

    通过深度学习的社交线索整合模型，我们开发了一个视频中注视预测的模型，通过递归地整合注视历史和社交线索来学习注视路径，以填补以往只关注群体模型而忽视了个体差异的研究空白。我们观察到这种单一统一的模型通过整合普遍关注和个体化注意力行为的方式在注视数据集上表现出色，优于个别训练的模型。

    May, 2024

  • 人类扫描路径预测的最新技术

    评估人类扫视路径预测模型的学术论文，引入新的评估指标方法并详细比较了现有模型的性能，提出了以往指标所忽略的问题点。论文最终提出了 MIT/Tuebingen Saliency Benchmark 数据集作为基准，供研究人员参考，评价其模型预测的准确性。

    Feb, 2021

  • 注意力机制是否具备人类阅读特征？情感分类任务视角

    通过实验发现注意力机制在句子中能够关注到重要的词，类似于人类阅读时关注关键词汇，但机器学习可能出现错误关注，因而可以借助眼动仪辅助纠正错误，从而提高分类任务的性能。

    Sep, 2022