COLINGSep, 2022

机器阅读，快与慢：模型何时 “理解” 语言？

PDF
TL;DR我们研究了阅读理解模型相对于指代消解和比较两种语言技能的行为，以了解深度学习模型在自然语言理解中的表现。研究通过显著性分数和反事实解释观察了 BERT 家族的五个模型，并发现基于更大编码器的系统更可能依赖于正确的信息。然而，即使是这些更大的系统也难以推广，表明它们仍然学习特定的词汇模式，而不是比较的一般原则。
natural language understandingdeep learningreading comprehension modelsbert familycomparison
发现论文，激发创造
  • 教授机器阅读和理解

    本篇论文提出了一种新方法，通过大规模监督学习从而提供阅读理解的数据集，开发了一类基于注意力机制的深度神经网络，使其能够在没有先前语言结构知识的情况下阅读真实文档并回答复杂问题。

    Jun, 2015

  • AI 大语言模型理解问题之争

    研究人工智能中对大规模预训练语言模型是否在任何重要意义上可以称为 “理解” 语言，以及对应的关键问题和新的智能领域的发展。提出一种新的智能科学来提供关于知识的不同模式，以及它们的优势和限制，以及融合不同形式认知的挑战的见解。

    Oct, 2022

  • 关于一般语言理解

    自然语言处理领域对于意义和测量的问题进行了实证研究，本文勾勒了一种理解模型，用于评估当前模型质量测量方法的适应性，并指出不同语言使用情境类型的特点、语言理解是多方面现象，以及理解指标的选择标志了对基准测试和语言处理伦理的考虑的开端。

    Oct, 2023

  • 大型语言模型是否能理解常见词汇的不常见含义？

    通过创新构建一个包含细粒度和跨语言维度的词汇语义理解数据集，本研究揭示了大语言模型在基本词汇意义理解任务上的性能不佳，甚至落后于 16 岁的人类 3.9% 和 22.3% 分别。这突显了其关键不足，并激发了进一步研究和开发更智能的大语言模型的新见解。

    May, 2024

  • 多语言语言模型预测人类阅读行为

    本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征，表明变压器模型可以以类似于人类处理机制的方式隐式地编码语言的相对重要性。作者还分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类句子处理。

    Apr, 2021

  • 从形式到含义：利用多义一致性探测语言模型的语义深度

    大规模语言模型的理解能力在不断增长，但与人类理解相比仍存在差距，特别是在多义一致性方面，这对它们在学习人类语言和理解方面的效用产生了影响。

    Apr, 2024

  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • 神经语言模型对人类实时理解行为的预测能力

    通过对二十多种不同的计算模型测试发现，尽管这些模型可能包含不同的结构、方法和数据集，但其前向单词期望和人类阅读行为之间的关系是很直接的，其中深度 Transformer 模型和 n-gram 模型在眼动数据方面表现优异，而在句法知识和预测能力之间不存在重大关系。

    Jun, 2020

  • 机器阅读理解：上下文语言模型的作用与发展

    本篇综述论文全面比较了机器阅读理解的研究，主要介绍了它的起源、发展历程、对 NLP 社区的影响、定义、数据集、技术方法、研究亮点，并提出了新的分类和分类法，认为机器阅读理解将浅层文本匹配转化为认知推理的领域，同时也深化了从语言处理到语言理解的进展。

    May, 2020

  • 自然语言理解系统的理解和评估

    本文通过对最新的自然语言理解系统的语言能力进行批判性分析，认为这些系统具备人类语言学习和处理的重要方面，但同时缺乏关键的解释和推论技能，除非它们被结构化知识和利用语言使用能力所整合，否则难以实现这些技能。

    Mar, 2023