该论文提出了一种基于双重监督学习的语言理解和生成学习框架,能够有效提高这两个任务的性能。
May, 2019
本文介绍了一个通用学习框架,以有效地利用自然语言理解和生成之间的双重属性,并提供灵活性,将监督学习和无监督学习算法组合起来,以共同训练语言理解和生成模型,并对该方法进行了基准实验,证明了其提高了自然语言理解和生成性能的能力。
Apr, 2020
本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型,可在平面和树形形式表示的两个对话数据集上达到最先进的性能,并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。
Jun, 2020
通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG),并提出一种新的半监督 NLU 框架,其中包括对应的双重模型,以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环,使得 NLU 模型可以充分利用数据(标记和无标记),并在每次迭代中逐步提高 NLU 和 SSG 模型的性能,在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明,该方法明显优于基线,而且在监督设置下也可以达到最先进水平。
本研究提出了一种半监督深度学习算法,能够在缺乏注释数据的情况下,利用非注释数据进行学习,采用序列到序列模型的 NLG 和 NLU 模型进行联合学习来实现。实验结果表明,在有限的注释数据下,该方法可以不使用任何预处理或重新评分技巧就能够取得非常有竞争力的效果,为不断发展新的 E2E NLG 应用程序开拓了道路。
Sep, 2019
本文介绍了一种联合学习框架,旨在通过一种新颖的双重信息最大化方法对两个任务 (自然语言生成与语义分析) 进行正则化学习,进一步将其扩展到半监督学习,并在对话管理和代码生成 (以及总结) 三个数据集上进行了实验,结果表明 DIM 可以提高两个任务的学习性能。
Jun, 2019
提出了一种双向学习机制(dual-learning mechanism),通过强化学习过程,使用一个代理模型代表原始任务模型,另一个代理模型代表对偶任务模型,以无监督学习方式自动从无标注数据中学习。实验证明,该方法在英法翻译中表现良好,尤其是在使用单语数据的情况下。
Nov, 2016
本研究提出了一种半监督框架,利用 GPT-2 模型自动构建了大规模数据,并根据估计的标签质量调整模型参数更新,实现 NLG 和 NLU 模型的联合训练,证明在数据稀缺场景下,该弱监督培训范式是一种有效的方法,在 E2E 和天气基准测试上优于基准系统。
Feb, 2021
该研究提出一种被称为双重监督学习的方法,即同时训练两个双重形式的任务模型,并明确利用它们之间的概率关联来规范训练过程。该方法可同时提高多种应用程序的实际性能,包括机器翻译,图像处理和情感分析。
Jul, 2017
提出了一个融合符号与深度学习方法的推理框架 NeuralLog,通过结合单调性逻辑推理引擎和神经网络语言模型进行短语对齐,并使用 beam search 算法解决 NLI 任务,实验证明该联合推理系统在 NLI 任务上提高了准确性,并可在 SICK 和 MED 数据集上实现最先进的准确性。
May, 2021