Apr, 2020

半监督自然语言理解的双向学习

PDF
TL;DR通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG)，并提出一种新的半监督 NLU 框架，其中包括对应的双重模型，以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环，使得 NLU 模型可以充分利用数据（标记和无标记），并在每次迭代中逐步提高 NLU 和 SSG 模型的性能，在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明，该方法明显优于基线，而且在监督设置下也可以达到最先进水平。
natural language understandingsemi-supervised learningdual tasknlu modelsemantic forms
发现论文，激发创造
  • 自然语言理解和生成的双重监督学习

    该论文提出了一种基于双重监督学习的语言理解和生成学习框架，能够有效提高这两个任务的性能。

    May, 2019

  • 双向学习的语义解析

    本文提出了一种使用双重学习算法的语义解析框架，通过与逻辑形式的查询之间的博弈，使语义解析器充分利用数据从而达到更好的性能。实验结果表明，该方法在 ATIS 数据集上取得了最新的最好性能，并在 Overnight 数据集上取得了有竞争力的性能表现。

    Jul, 2019

  • 通过联合双重学习实现无监督语言理解与生成

    本文介绍了一个通用学习框架，以有效地利用自然语言理解和生成之间的双重属性，并提供灵活性，将监督学习和无监督学习算法组合起来，以共同训练语言理解和生成模型，并对该方法进行了基准实验，证明了其提高了自然语言理解和生成性能的能力。

    Apr, 2020

  • 提高语言理解和生成的双重推理

    该论文探讨自然语言理解与自然语言生成之间的双重关系，并在推理阶段利用其对模型进行优化，从而提高了实践应用潜力。

    Oct, 2020

  • 通过联合学习自然语言生成和自然语言理解模型的半监督神经文本生成

    本研究提出了一种半监督深度学习算法，能够在缺乏注释数据的情况下，利用非注释数据进行学习，采用序列到序列模型的 NLG 和 NLU 模型进行联合学习来实现。实验结果表明，在有限的注释数据下，该方法可以不使用任何预处理或重新评分技巧就能够取得非常有竞争力的效果，为不断发展新的 E2E NLG 应用程序开拓了道路。

    Sep, 2019

  • 双阶段语义解析的无监督双重释义

    该研究提出了一种两阶段的语义解析框架，第一阶段利用无监督的语义模型将未标记的自然语言转化为规范化语句，第二阶段使用自然语言解析器解析输出结果得到目标逻辑形式，该训练过程被分成了预训练和循环学习两个阶段，通过三项定制的自监督任务激活无监督的语义模型，实验结果表明该框架是有效的且与监督式训练相兼容。

    May, 2020

  • 用双任务学习方法对多语义语音编码器进行微调的口语理解

    本论文提出了一种双任务学习方法，以改进 SAMU-XLSR 的语义增强，并考虑到多语言和语言可移植性实验中的远程语言。

    Jun, 2024

  • 学习无标注数据推理：一种半监督学习方法用于强健的自然语言推理

    本文提出了一种结合无标注数据的 NLI 半监督学习方法，其中使用了条件语言模型 BART 生成假设句子，以减少对人类注释的依赖，实验结果显示该方法能够成功地利用无标注数据并在低资源环境下显著提高四个 NLI 评测集的性能。

    Nov, 2022

  • 利用质量加权的弱监督自动标注共同提高语言理解和生成能力

    本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

    Feb, 2021

  • 自监督语音和语言模型预训练的半监督口语理解

    本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

    Oct, 2020