ACLMay, 2022

当一个句子不引入语篇实体时，基于 Transformer 的模型有时仍然会引用它

PDF
TL;DR本文研究了语言模型在理解文本中的不定式短语和否定语气等句法结构时的实际能力，发现目前即使是规模达到 GPT-3 的模型，也并未完全掌握基本的实体追踪能力。
discourse entitiespsycholinguistic assessmentlanguage modelssentential operatorstransformer-based models
发现论文，激发创造
  • 语言模型中的实体跟踪

    本文探讨了大语言模型在跟踪实体状态和关系变化方面的能力，发现只有预训练于大量代码的 GPT-3.5 模型具有此能力，而使用预训练于文本的较小模型进行微调后也可以完成一定程度的实体追踪。但这种能力不仅取决于模型的大小，大文本库的预训练也不是必要条件。

    May, 2023

  • 两个基于语篇的语言模型用于语义

    本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

    Jun, 2016

  • Transformer 语言模型中的负面情感处理

    通过将问题转化为自然语言推理任务，探索使用 negation 的 transformer-based 语言模型推理的能力，并通过一些预测问题，揭示它们处理不同类型 negation 的不同方式。

    Apr, 2022

  • 高效易解释的实体追踪神经模型

    本文提出了一种能够以高效的方式对实体进行追踪的模型，它使用预训练的语言模型来表示实体，并将实体追踪集成到语言模型中，为自然语言理解和 NLP 应用带来了很大的便利。

    Aug, 2022

  • Transformer 能否在自然语言的片段中进行推理？

    本文对深度学习在自然语言处理（NLP）方面的最新应用进行了调查研究，发现 transformer-based language models 在检测受控自然语言片段的有效推理方面表现出明显的过拟合问题，未能获取主导推理的逻辑原则。

    Nov, 2022

  • 文档连贯性建模评估

    在理解预训练语言模型对话建模能力方面，我们提出了一种句子入侵检测任务，并在英语方面检查了一系列预训练 LM 的性能。我们通过构建包含英语维基百科和 CNN 新闻文章的 170,000 + 文档的新型入侵句子检测数据集 INSteD，显示预训练 LM 在域内评估中表现出色，但在跨域设置中经验了大幅下降，表明其对跨域推广的能力有限。进一步的，在一个新的语言探测数据集上的结果表明，在跨域设置中有很大的改进空间。

    Mar, 2021

  • 视觉和语言变换器是否学习了基于谓词和名词的依赖关系？

    本文研究视觉 - 语言建模，通过创建新的多模态任务和分析预训练数据的质量，发现预训练数据的质量和多模态预训练目标对模型的性能影响重要。

    Oct, 2022

  • 自然语言处理中的否定检测和词语消歧的语义方法

    本研究旨在演示一种通过词义消歧唯一地评估文本的词汇结构以检测否定的方法，从而解决否定对情感分析的影响，达到更好的准确性，并且在情感分析方面比传统方法有着显著的提高。

    Feb, 2023

  • 实体和关系抽取中的情境化和泛化

    本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

    Jun, 2022

  • 走向知识驱动的自然语言理解与生成

    通过将转换器模型与知识表示相关联，本论文研究了自然语言理解和生成的效果，并回答了以下关键研究问题：(i) 实体知识是否能够超越实体链接等实体为中心的任务，并带来更多的好处？(ii) 如何从原始文本中准确有效地提取这种结构化知识，尤其是嘈杂的网络文本？(iii) 除了结构化知识，其他类型的知识如何对改进自然语言处理任务有所贡献？研究表明，引入相关和最新的实体知识有助于虚假新闻检测，而面向实体的语言转换显著提高了零样本跨语言迁移的效果。在提取结构化知识方面，将负面样本整合和与实体规划一起训练显著提高了性能。此外，研究还发现，其他一般形式的知识，如参数化知识和精炼知识，有助于多模态和多语言知识密集型任务。这项研究展示了多元知识整合的实际好处，并鼓励在这个方向上进一步探索。

    Mar, 2024