IJCAIApr, 2022

用非常少的数据训练自然化语义解析器

PDF
TL;DR本篇论文介绍了一种基于语言模型的 seq2seq 体系结构，重点介绍了少样本语义解析，并基于非注释数据引入联合训练、有约束的解码、自训练和重新表述这四种技术进行了自动方法来提高语义解析性能。结果表明，该方法在夜间数据集上提供了新的最优结果，并在新的语义解析数据集上提供了非常令人信服的少样本结果。
semantic parsingnlpseq2seq architecturefew-shot learningunannotated data
发现论文，激发创造
  • 神经语义解析的迁移学习

    本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

    Jun, 2017

  • 概念预训练下的低资源组合语义分析

    本文提出的基于 seq2seq 的模型结构，可以在零样本或少量样本的情况下，通过对新领域的元数据进行编码，自动实现领域自适应的语义解析，并通过在 Wikidata 上预训练以增强概念感知能力，从而在 TOPv2 和 SNIPS 数据集上优于以前的研究成果。

    Jan, 2023

  • 利用层次表示生成面向任务的语义分析合成数据

    本研究探讨了使用预训练去噪序列到序列模型（即 BART）生成神经语义分析的合成数据的可能性，并使用辅助解析器（AP）过滤生成的数据，结果表明这一方法在导航领域的 Facebook TOP 数据集上具有潜力。

    Nov, 2020

  • 受限语言模型实现少样本语义分析器

    利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

    Apr, 2021

  • 多语言任务导向对话的情境语义解析

    通过机器翻译自动翻译对话数据集并使用新的上下文语义解析模型，该方法在多个数据集上提高了准确性并创建了高准确度的多语言对话数据集。

    Nov, 2021

  • 小心解冻：用空间高效方法微调语义分析模型

    本文研究了利用 PLM 进行语义解析的问题，并比较了在数据较少和常规情况下，冻结 PLM 参数的前缀调整和偏置项调整两种新技术与全量和部分微调的性能。作者发现，通过添加特殊令牌嵌入的前缀调整方法可以在保持参数节省的同时，获得非常良好的性能。

    Mar, 2022

  • 双向学习的语义解析

    本文提出了一种使用双重学习算法的语义解析框架，通过与逻辑形式的查询之间的博弈，使语义解析器充分利用数据从而达到更好的性能。实验结果表明，该方法在 ATIS 数据集上取得了最新的最好性能，并在 Overnight 数据集上取得了有竞争力的性能表现。

    Jul, 2019

  • 减少先验知识、增加单语数据的自然语言代码生成

    通过利用较大的单语语料库，本研究调查了一个基于通用 transformer 的 seq2seq 模型是否可以在最小限度的代码生成特定归纳偏差下实现与其他语言模型相当的性能，结果显示其在 Django 上实现了 81.03％的完全匹配准确性和 32.57 的 CoNaLa BLEU 分数，均达到了我们所知道的最好水平，这为在实践中构建准确的语义解析器提供了可能更容易的途径。

    Jan, 2021

  • 零样本跨语言语义解析

    本文提出一种多任务编码 - 解码模型，通过多语言领域内语料库和英文 - 逻辑形式对标数据，在没有平行语料的情况下完成跨语言的语义解析，模型加强了语言无关编码，显著优于传统基于翻译的算法，有时能与有监督模型的上线媲美。

    Apr, 2021

  • 使用机器翻译在一天内对开放本体问答语义解析器进行本地化

    本研究提出了一种新的方法，使用神经机器翻译系统来本地化语义解析器，通过在目标语言自动产生的数据中添加一次辅助的人类翻译，我们训练了一种新的模型，可以通过 QA 系统对多个新的领域和语言进行问答。结果表明，我们的方法比以前的最先进方法在几个测试语言的测试数据集上更为有效，QA 系统可以帮助任何软件开发人员在不到 24 小时内为新领域添加新的语言支持。

    Oct, 2020