ACLMay, 2019

自然语言理解和生成的双重监督学习

PDF
TL;DR该论文提出了一种基于双重监督学习的语言理解和生成学习框架，能够有效提高这两个任务的性能。
发现论文，激发创造
  • 通过联合双重学习实现无监督语言理解与生成

    本文介绍了一个通用学习框架，以有效地利用自然语言理解和生成之间的双重属性，并提供灵活性，将监督学习和无监督学习算法组合起来，以共同训练语言理解和生成模型，并对该方法进行了基准实验，证明了其提高了自然语言理解和生成性能的能力。

    Apr, 2020

  • 提高语言理解和生成的双重推理

    该论文探讨自然语言理解与自然语言生成之间的双重关系，并在推理阶段利用其对模型进行优化，从而提高了实践应用潜力。

    Oct, 2020

  • 联合自然语言理解和生成的生成模型

    本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型，可在平面和树形形式表示的两个对话数据集上达到最先进的性能，并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。

    Jun, 2020

  • 半监督自然语言理解的双向学习

    通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG)，并提出一种新的半监督 NLU 框架，其中包括对应的双重模型，以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环，使得 NLU 模型可以充分利用数据（标记和无标记），并在每次迭代中逐步提高 NLU 和 SSG 模型的性能，在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明，该方法明显优于基线，而且在监督设置下也可以达到最先进水平。

    Apr, 2020

  • 通过联合学习自然语言生成和自然语言理解模型的半监督神经文本生成

    本研究提出了一种半监督深度学习算法，能够在缺乏注释数据的情况下，利用非注释数据进行学习，采用序列到序列模型的 NLG 和 NLU 模型进行联合学习来实现。实验结果表明，在有限的注释数据下，该方法可以不使用任何预处理或重新评分技巧就能够取得非常有竞争力的效果，为不断发展新的 E2E NLG 应用程序开拓了道路。

    Sep, 2019

  • 利用质量加权的弱监督自动标注共同提高语言理解和生成能力

    本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

    Feb, 2021

  • 通过双重信息最大化共同学习语义解析器和自然语言生成器

    本文介绍了一种联合学习框架，旨在通过一种新颖的双重信息最大化方法对两个任务 (自然语言生成与语义分析) 进行正则化学习，进一步将其扩展到半监督学习，并在对话管理和代码生成 (以及总结) 三个数据集上进行了实验，结果表明 DIM 可以提高两个任务的学习性能。

    Jun, 2019

  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • 基于槽位的多模态对话系统中响应生成的统一框架

    本文提出了一种多模态对话系统的端到端框架，利用预训练的 DialoGPT，并利用知识库（Kb）提供更强的上下文信息来从话语中提取所需的插槽值和生成一致的响应，使用多模态层次编码器，并设计槽注意机制来聚焦于给定话语中的必要信息，最终实验结果表明，该框架在两种任务中优于基线方法。

    May, 2023

  • 双重监督学习

    该研究提出一种被称为双重监督学习的方法，即同时训练两个双重形式的任务模型，并明确利用它们之间的概率关联来规范训练过程。该方法可同时提高多种应用程序的实际性能，包括机器翻译，图像处理和情感分析。

    Jul, 2017