Apr, 2019

借助认知语言处理信号推动自然语言处理

PDF
TL;DR使用认知处理数据（如注视模式和脑电图特征）可以显著提高文本处理任务的性能，但在不同任务和数据源上具有局限性。
发现论文，激发创造
  • 机器关注时的人类大脑活动

    通过将神经网络和神经科学的 EEG 数据相结合，使用理论驱动的裁剪和随机森林树分割来降低 EEG 数据的维度，从而改进了 NLP 任务中的注意力机制，表现出比强基准线更佳的表现，有助于进一步研究 EEG 在 NLP 任务中的应用。

    Jun, 2020

  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023

  • 用于多模式自然语言处理的 EEG 脑电信号解码

    本文针对脑电信号对自然语言处理的潜力进行了大规模研究，利用多模态机器学习体系结构，发现滤波后的脑电信号对情感分析任务的性能提升最为明显，特别是在训练数据有限的情况下。

    Feb, 2021

  • 使用凝视行为进行自然语言处理的调查

    本文讨论了在自然语言处理中解决不同任务时使用注视行为的方法，重点在于研究减轻运行时记录注视行为需求的方法，并提及了现有的多语言注视行为数据集，最后讨论了在教育领域中应用注视行为的方法与其可以帮助解决的问题。

    Dec, 2021

  • 衡量（心理）语言和易读性特征以及它们的溢出效应对预测眼动模式的影响

    本文报告了两个眼动追踪语料库和两种语言模型（BERT 和 GPT-2）的实验结果。实验表明，预测自然阅读过程中多种眼动追踪参数时，包含的特征和基于 transformer 的语言模型的架构都发挥了作用。同时通过 SP-LIME，实验分析了不同特征组的相对重要性。

    Mar, 2022

  • 处理口语处理中的盲点

    本文探讨了非语言线索（包括共语手势和面部表情）在人类交流中的关键但常常被忽视的作用，以及它们对自然语言处理（NLP）的影响。我们提出了发展通用自动手势划分和转录模型以将这些非语言线索转录为文本形式的方法，来加强口语理解的盲点并提升 NLP 模型的适用性。通过激励性例子，我们演示了仅仅依靠基于文本的模型的局限性。我们提出了一种计算高效且灵活的方法，可以与现有的 NLP 流程无缝集成，用于引入非语言线索。最后，我们呼吁研究界为通用转录方法的发展做出贡献，并验证其在捕捉现实中多模态交互的复杂性方面的效果。

    Sep, 2023

  • 利用大脑的自然语言处理能力解释和改进机器的自然语言处理

    提出了一种新颖的解释方法，利用人脑阅读复杂自然文本时的脑成像记录来解释最新的四个 NLP 模型 ——ELMo、USE、BERT 和 Transformer-XL 中的词和序列嵌入，研究它们在层深度、上下文长度和注意类型之间的差异，并推测改变 BERT 以更好地对齐脑成像记录将使其更好地理解语言。

    May, 2019

  • 深度学习基于自然语言处理的进展：一项调查

    该研究综述了深度学习方法和模型在自然语言处理方面的应用和进展，分析和比较了不同方法和先进模型对语义分析和 NLP 任务领域的促进作用。

    Mar, 2020

  • 认知感知同源词检测

    本文提出了一种新的方法，利用人类阅读者的凝视行为提取认知特征，用于自动检测同源词，并通过使用搜集到的和预测的视线行为数据，证明该方法可以帮助提高同源词检测任务的性能提高 10%，相比之前的方法预测视线行为数据的性能提高了 12%。

    Dec, 2021

  • 通过人类注视引导的神经注意力提高自然语言处理任务

    我们提出了一种新型混合文本显著性模型 (TSM)，首次将阅读的认知模型和显式的人类注视监督相结合，将 TSM 的预测与人类注视的真实数据高度相关，并提出了一种新的联合建模方法，将 TSM 的预测集成到网络的注意层中，从而实现了人类注视引导的神经注意力与 NLP 任务的结合，其在 QUora 问题对语料库的释义生成任务中优于当前技术水平的 PERFOMANCE BY MORE THAN 10% BLEU-4，并在 Google 句子压缩语料库中实现了最先进的性能，从而介绍了一种实用的方法，将数据驱动模型和认知模型之间桥接起来，并展示了将人眼引导的神经关注集成到 NLP 任务中的新方法。

    Oct, 2020