EMNLPOct, 2018

TRANX：一种基于转换的神经抽象语法分析器，用于语义分析和代码生成

PDF
TL;DR该研究提出了一种基于转换的神经语义解析器 TRANX，它通过一个基于抽象语法描述语言的转换系统将自然语言表达转化为形式化的意义表示，从而具有高准确性和高可泛化性。实验表明，TRANX 相对于现有神经语义解析器，在处理四种不同的语义分析和代码生成任务时具有可扩展性和效率，并取得了强劲的结果。
tranxneural semantic parserformal meaning representationstransition systemgeneralizable
发现论文，激发创造
  • 鲁棒的增量神经语义图解析

    该研究提出了一个基于神经编码器 - 解码器的转移句法分析器，可以作为关于最小递归语义的完全覆盖的语义图分析器，预测图与非词汇化谓词及其标记对齐共同。该分析器比注意力模型基准更准确，并且在 GPU 批处理方面比高精度基于语法的分析器快一个数量级。此外，我们的最小递归语义分析器的 86.69％ Smatch 得分高于 AMR 分析的上限，这使得 MRS 成为有吸引力的语义表示选择。

    Apr, 2017

  • 可执行的神经语义解析器的学习

    本文介绍了一种神经语义解析器，可以将自然语言表达式映射到逻辑形式，以在特定任务环境中执行，如知识库或数据库，生成响应。解析器使用基于转换的方法生成具有树形结构的逻辑形式，结合由逻辑语言定义的通用树生成算法和领域一般性操作。解析器的生成过程由结构化循环神经网络建模，提供句子上下文和生成历史的丰富编码，以进行预测。为了解决自然语言和逻辑形式标记之间的不匹配，探讨了各种注意机制。最后，我们考虑了神经语义解析器的不同训练设置，包括全监督训练、弱监督训练和远程监督训练。对各种数据集的实验表明了我们解析器的有效性。

    Nov, 2017

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020

  • 基于字符串到树的神经机器翻译方法

    本文介绍了一种简单的方法，通过翻译成线性化的、词汇化的组成树来融合有关目标语言的语法信息，实验结果表明，与同一数据集上训练的语法无关的神经机器翻译系统相比，WMT16 德英新闻翻译任务的 BLEU 评分得到了明显提升。对语法感知系统的翻译进行分析后发现，它在翻译过程中进行了更多的重排。小规模人类评估也表明了语法感知系统的优势。

    Apr, 2017

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • 基于指针网络的基于转换的语义依存句法分析

    通过使用 pointer networks 实现的转移句法分析器在依赖句法分析方面已经成为最新的技术水平，我们提出了一种基于指针网络的转移系统，可以直接生成标记有方向无环图并实现语义依赖分析。同时，我们使用从 BERT 提取的深层上下文化的词嵌入来增强我们的方法。这一结果不仅超越了所有现有的基于转移的模型，而且还匹配了 SemEval 2015 任务 18 英语数据集上先前最先进的基于图形的解析器的最佳完全监督准确率。

    May, 2020

  • 任务导向语义解析中的 Transformer 诊断

    本文研究了 BART 和 XLM-R 两种目前最先进的基于 transformers 的任务导向语义解析模型在单语和多语境下的表现，实验证明它们不仅在消歧意图 / 槽方面有困难，而且在生成句法上有效的语义框架方面也遇到了问题，主要原因是在把句子片段抽取到框架中时存在歧义，导致语法无效。不过，该模型同时也为是否正确或不正确的语义框架给出了充足的指标，使得该模型可以轻松部署在生产环境中。

    May, 2021

  • 为代码生成和语义解析设计的抽象语法网络

    介绍了针对类似代码生成和语义解析等需要将非结构化（或部分结构化）输入映射到格式化可执行输出的抽象语法网络建模框架，并使用一个具有动态确定模块化结构的解码器构建输出，具有与输出树结构相一致的特性，在 Hearthstone 数据集上获取了 79.2 BLEU 和 22.7% 的精确匹配度，相比之前最先进的值提高了 12.1 和 16.6 个百分点，在 Atis、Jobs 和 Geo 语义解析数据集上的表现也很有竞争力，并且无需进行任何任务特定的工程。

    Apr, 2017

  • 利用上下文嵌入的基于转移的抽象含义表示解析

    该论文提出了一种名为 AmrBerger 的新的语义分析器，它探索了预训练上下文感知的单词嵌入在 AMR 分析中的可用性，并发现这些丰富的词汇特征与额外的概念信息的结合可以提高系统的性能。同时，通过分析，也展现了上下文嵌入的优点和局限，这为进一步深入理解提供了启示。

    Jun, 2022

  • 通用代码生成的句法神经模型

    本文提出了一种新型神经体系结构，它由语法模型支持，旨在将自然语言描述解析为基于 Python 等通用编程语言的源代码，并将其显式地捕获为先验知识，以实现从自然语言描述生成复杂程序的规模化。实验证明，这是一种有效缩放到语言描述的复杂程序的方法，取得了优于以前代码生成和语义解析方法的最新成果。

    Apr, 2017