ACLMay, 2020

利用句法结构改进语言模型：一种句法距离方法

PDF
TL;DR本研究采用多任务学习方法，通过预测单词和语法距离（即基于真实解析树的距离值）的方式，相互共享中间表示，以有效且高效地融入句法结构于神经语言模型中， 实验表明，提供基于真实解析树的训练信号，能够降低困惑度并生成更好的语法树。
发现论文，激发创造
  • 利用句法结构进行语言模型优化

    该论文介绍了一种语言模型，它利用句法结构从单词历史中提取有意义的信息，从而使得可以使用远距离依赖关系。该模型分配概率给每个单词序列 - 带头词注释的二元解析结构，并以左到右的方式运作，因此适用于自动语音识别。通过一系列实验来评估预测能力，该模型及其概率参数化对标准三元模型进行了改进。

    Nov, 1998

  • 神经句法距离的短语结构句法分析

    本课题提出了一种新的句法分析方案，使用语法距离为每个输入句子中的拆分位置预测顺序，以自上而下的方式递归划分输入，相比传统的换卡规约分析方案，本方法不会出现错误累积问题，更易于并行处理，并且在 PTB 数据集中达到了竞争性的单模型判别式解析器性能，同时在 CTB 数据集中优于先前的模型。

    Jun, 2018

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 对结构感知 Transformer 语言模型进行改进以解决端任务

    本篇论文中，我们提出了一种结合语法距离来编码成语句法和依赖关系的机器学习模型。该模型采用中间层结构学习策略来融合结构，并通过多任务学习方案进行主要语义任务的训练，从而实现了结构改造的语言模型。实验结果表明，这种改造的结构感知 Transformer 语言模型不仅在 perplexity 上有所提高，同时能够识别准确的句法短语，通过结构感知微调，对于语义和句法依赖任务都能显著提高效果。

    Sep, 2020

  • 通过基于实景的学习掌握语言结构

    本文提出了基于语言结构的机器学习任务，并通过三种方案展示了其潜力和可行性，包括通过视觉基现学习语法结构，通过执行感知方法映射句子到语义结构，并通过跨语言词对齐和子结构投影方法改进零样本跨语言依赖分析的性能。

    Jun, 2024

  • 结构化语言模型

    本文提出一种语言模型，其利用句法结构从单词历史中提取有意义的信息，实现了远距离依赖关系的利用。该模型为每个单词序列 - 二元分析结构分配概率加以注解，同时提出了概率参数化和一组评估其预测力的实验。

    Nov, 1998

  • 使用 Forest-to-Sequence 模型在神经机器翻译中考虑句法不确定性

    本文提出了一种基于注意力机制的神经网络机器翻译模型，在源语句的因果关系树中学习一个神经注意力转导模型，并使用句法信息来弥补语料库相对匮乏的问题。实验证明，相比于其他神经翻译模型，该模型在英语 - 德语、英语 - 中文和英语 - 波斯语翻译任务中有优异的表现。

    Nov, 2017

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 深度学习中的句法结构

    本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

    Apr, 2020

  • 神经语言模型中语法表示的过高估计

    研究最近聚焦于神经语言模型的成功因素，测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力，本论文重现了最近论文的实验结果，显示了以字符串为基础的句法诱导训练的基本问题。

    Apr, 2020