ACLJun, 2023

利用结构信息增强语言表示以提升自然语言理解能力

PDF
TL;DR本文介绍了一种使用构造语法概念来丰富语言表示的方法，该方法由一种基于使用的构造语法框架支持，通过提取具有辨别性的构造，然后利用关系超图注意网络获取构造信息的表示来增强语言表示，实验结果表明该模型在各种自然语言理解任务方面具有明显优势。
natural language understandingpre-trained language modelsconstruction grammarusage-based construction grammarhycxg framework
发现论文，激发创造
  • 建构语法为神经语言模型提供独特的洞见

    本研究基于构式语法，对大型预训练语言模型（PLMs）在构式结构和含义方面的性能进行了探究，并提出了未来研究的建议和挑战。

    Feb, 2023

  • 构式语法与语言模型

    深度学习和自然语言处理在构造语法研究中产生了强大的模型，通过训练填空问题，显示了对丰富的语言信息和结构化知识的访问，本文旨在探索计算方法和构造语法研究之间的协同关系，并提供了深度学习模型的综合概述，以促进这两个领域的研究者之间的合作。

    Aug, 2023

  • 更好的语法，更好的语义？探究预训练语言模型对于英语比较关联的渗透

    本文基于预训练语言模型研究了构式语法（CxG）与句法语义知识的兼容性，并探讨了预先训练的语言模型在英语比较关联结构（CC）的分类和理解中的表现，结果显示预训练语言模型的类人表现与语言学知识之间还存在显著差距。

    Oct, 2022

  • 探索构式的结构：一个计算语言学的 CxG 的分析

    通过学习构造语言学，将无人监督语法与语言学视角相结合，形成计算构造语法的任务，生成构建词的语料库；并且，将学习到的构建词的 Token 和类型等推广到不同的社会和地理语言方言的变异模式上的一项研究工作。

    Jan, 2023

  • 语言（再）建模：走向具身语言理解

    本文提出了基于具有体验认知语言学特征的表征和学习方法的自然语言理解系统架构，旨在利用隐喻推理和模拟的基础来提高自然语言理解系统的效率、可解释性和概括性。

    May, 2020

  • 联合自然语言理解和生成的生成模型

    本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型，可在平面和树形形式表示的两个对话数据集上达到最先进的性能，并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。

    Jun, 2020

  • CxGBERT: BERT 遇上构式语法

    本研究旨在探究 BERT 模型是否有能力获取句法结构和语言构式方面的信息，并证明 BERT 模型可以获得大量的句法信息，这也为深度学习模型理解自然语言处理提供了新的思路。

    Nov, 2020

  • 自然语言理解和生成的双重监督学习

    该论文提出了一种基于双重监督学习的语言理解和生成学习框架，能够有效提高这两个任务的性能。

    May, 2019

  • UCxn: 对通用依存结构之上的构式进行类型分析的标注

    通过在 UD 注释上加入一个 'UCxn' 注释层并且在典型性知识的指导下，我们将构建类型说法可以跨语言进行比较的 UD 注释，同时为未来的 UD 树库提供了建设的基础。

    Mar, 2024

  • 生成以理解为基础的表征

    本文介绍了一种使用最长公共子串筛选相似文本对同时进行预处理和对比学习的预处理框架 GUR，无需标注数据即可在召回基准测试中以检索器的身份优于所有其他预训练基线。

    Jun, 2023