通过对一种在 conformer 模型上的 unsupervised 的 dual learning 方法的实验，取得了相对于之前模型的 10.7%/5.2%(没有 LM) 和 11.7%/16.4%(有 LM) 的 WER 提升，该方法对已经在大规模监督语料库上训练过的实时 on-device streaming 模型进行了优化。

Jan, 2023

提出了一种双向学习机制（dual-learning mechanism），通过强化学习过程，使用一个代理模型代表原始任务模型，另一个代理模型代表对偶任务模型，以无监督学习方式自动从无标注数据中学习。实验证明，该方法在英法翻译中表现良好，尤其是在使用单语数据的情况下。

Nov, 2016

本文探讨了用于神经语音翻译的多任务模型，并对其进行增强，以反映两个直观概念。精准的中间表示和神经关联的模式，参与模型的训练可以提高低资源语音转录和翻译任务的性能。

Feb, 2018

本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

Jan, 2022

通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG)，并提出一种新的半监督 NLU 框架，其中包括对应的双重模型，以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环，使得 NLU 模型可以充分利用数据（标记和无标记），并在每次迭代中逐步提高 NLU 和 SSG 模型的性能，在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明，该方法明显优于基线，而且在监督设置下也可以达到最先进水平。

Apr, 2020

该论文提出了一种基于双重监督学习的语言理解和生成学习框架，能够有效提高这两个任务的性能。

May, 2019

该论文探讨自然语言理解与自然语言生成之间的双重关系，并在推理阶段利用其对模型进行优化，从而提高了实践应用潜力。

Oct, 2020

本文提出了一种基于多任务学习方法，利用源端的单语言语言资源来解决神经机器翻译中由于缺少平行文本造成模型质量差的问题，并采用语义分析、句法分析和命名实体识别等辅助任务以将语义和 / 或句法知识注入到翻译模型中，实现了在英法、英波斯和英越三种翻译任务上的有效性验证。

May, 2018

本文结合半监督深度生成模型与多语预训练技术，设计了一套用于文档分类的流程，在多个语种的低资源场景中表现出极强的竞争力，胜过现有最先进的方法。

Jan, 2021

本研究探讨了多任务学习在语音处理中的优势，通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型，我们的模型虽然规模适中，但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争，并且在情感分类上表现与端到端模型相当。

Nov, 2022