Oct, 2023

注视引导的循环神经网络：较长的注视，更多的计算

PDF
TL;DR通过固定点引导的并行 RNN 或层，将机器学习模型使其更像人类阅读，并通过语言建模和情感分析任务的实验来测试其有效性，从而提供了经验验证此直觉的证据。我们的模型在语言建模任务上表现出良好的性能，明显优于基准模型，并发现神经网络预测的固定点持续时间与人类的固定点有相似之处。模型在没有明确引导的情况下做出与人类相似的选择，并调查了它们之间差异的原因，解释了为什么 “模型固定点” 在指导语言模型时往往比人类的固定点更合适。
machine learning modelsfixation guidancelanguage modelingsentiment analysisfixation duration
发现论文，激发创造
  • 人类句子加工：循环或注意力？

    通过比较基于循环神经网络和 Transformer 架构的语言模型在人类语言处理方面的能力，本文揭示了 Transformer 在解释自定步调阅读时间和阅读过程中神经活动方面优于 RNN，并挑战了人类句子处理涉及循环和即时处理的普遍理念，并提供了线索检索的证据

    May, 2020

  • 人类关注下的句子表示学习

    研究发现，将不同权重分配给句子中的单词能够有效提高句子的表达能力，该论文提出了两种基于 Surprisal、POS tags 和 CCG supertags 的注意力机制模型用于改进句子表示，实验证明这种方法显著优于现有模型。

    Sep, 2016

  • 神经注意力模型人类阅读

    本篇论文通过使用无监告运算架构的神经注意力和自编码，探讨了人类阅读时的跳过现象和读取过程的计算，提出了一种新的方法，并在 Dundee 眼球追踪语料库上对该模型进行了评估，表明它能够很好的预测跳过行为和阅读时间，捕捉了人类阅读的已知定性特征。

    Aug, 2016

  • 通过人类注视引导的神经注意力提高自然语言处理任务

    我们提出了一种新型混合文本显著性模型 (TSM)，首次将阅读的认知模型和显式的人类注视监督相结合，将 TSM 的预测与人类注视的真实数据高度相关，并提出了一种新的联合建模方法，将 TSM 的预测集成到网络的注意层中，从而实现了人类注视引导的神经注意力与 NLP 任务的结合，其在 QUora 问题对语料库的释义生成任务中优于当前技术水平的 PERFOMANCE BY MORE THAN 10% BLEU-4，并在 Google 句子压缩语料库中实现了最先进的性能，从而介绍了一种实用的方法，将数据驱动模型和认知模型之间桥接起来，并展示了将人眼引导的神经关注集成到 NLP 任务中的新方法。

    Oct, 2020

  • 人类与语言模型在预测重复文本时的差异

    通过研究语言模型在下一个单词预测任务中的表现与人类行为模式的比较，发现人类与 GPT-2 语言模型在文本展现初期表现强相关，随着记忆（或背景学习）的作用逐渐发挥，二者的表现迅速分歧，研究发现这种分歧的原因是特定的中间层注意力头部，为此通过在这些注意力头部中添加幂律最近偏倚，构建了一个更接近人类行为的模型，希望此案例能够推动将语言模型更加贴近人类行为的未来研究。

    Oct, 2023

  • 从人类行为角度探索语言模型

    基于人类行为学视角，我们探究了大型语言模型（LLMs）的预测过程和内部机制，通过将 LLMs 的值与眼动测量结果相关联，发现 LLMs 表现出与基于 RNN 的语言模型不同的预测模式。此外，随着前馈网络（FFN layers）的升级，记忆和语言知识编码的能力也逐渐提升直至达到巅峰，并转向注重理解能力。自注意力机制的功能分布在多个头部。最后，我们审查了门控机制，发现它们控制信息的流动，有些门控机制促进信息的传递，而其他门控机制则消除信息。

    Oct, 2023

  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023

  • 用人类视觉注意力解释机器阅读理解中的注意力模型

    通过比较使用不同架构的神经网络在机器阅读理解中的表现，发现与人类视觉注意力较为相似的 LSTM 和 CNN 模型的性能表现显著关联，但与之性能最佳的 XLNet 模型关联性不明显，提示不同架构的神经网络的注意力策略存在差异，且神经注意力与人类注意力相似性并不代表拥有最佳表现。

    Oct, 2020

  • 每个词都很重要：一种多语言分析模型注意力与个人对齐的方法

    通过分析母语和英语学习者阅读不同语言时的眼动数据，发现个体阅读行为会影响人类和模型之间的关联性，这需要在未来的研究中被考虑进去。

    Oct, 2022

  • Transformer 模型是否显示出与任务特定的人类凝视类似的注意力模式？

    通过比较两个任务特定的阅读数据集，研究表明，大规模预训练自注意力模型对于人类注意力的预测能力依赖于罕见语境的句法性质，而任务特定的微调不增加与人类阅读的相关性，并且通过输入减少实验给出了互补信息，表明低熵的注意向量更为可靠。

    Apr, 2022