提出了一种神经编码器 - 解码器机器翻译模型框架,该模型开始交替学习语法和翻译,逐渐将重点放在翻译上,实现了在相对较大的平行语料库(WMT14 英语到德语)和低资源(WIT 德语到英语)设置中的 BLEU 得分显着提高。
Apr, 2018
本文研究了在多任务学习框架下,辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案,提出三种方法以提高翻译质量,实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。
Jul, 2021
通过应用多任务学习,已经在端到端语音翻译中取得了显著的改进。本文研究了不同任务之间的一致性,并提出了一种改进的多任务学习方法,通过缓解长度和表征的差异来弥合模态间的差距。实验证明我们的方法达到了最先进的结果。此外,当使用额外的数据时,我们在 MuST-C 英语到西班牙语任务上以当前最先进方法所需的 20.8% 的训练时间取得了新的最先进结果。
Nov, 2023
本文研究了多模式翻译任务的两个子任务:学习翻译和学习视觉有关表征,并在多任务学习框架中通过注意力编码器 - 解码器和图像表征预测的方式实现。通过实验发现,这种方法在 Multi30K 数据集上比基准表现要好,即使在外部 MS COCO 数据集进行训练也同样有效,而在外部 News Commentary 平行文本训练翻译模型时进一步提高了性能。
May, 2017
本研究探讨了将中间表示作为深度网络低层的辅助监督的方法,将传统的 pipeline 方法与端到端的训练方法相结合,实验结果表明这种方法提高了对话语音识别的识别准确性。
Apr, 2017
本研究探讨了多任务学习在语音处理中的优势,通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型,我们的模型虽然规模适中,但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争,并且在情感分类上表现与端到端模型相当。
Nov, 2022
本研究提出一种多任务学习模型,可以同时训练多种语言学层次的任务,并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时,不影响其他任务的学习效果。实验结果表明,这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。
Nov, 2016
本文提出了一种基于多任务学习方法,利用源端的单语言语言资源来解决神经机器翻译中由于缺少平行文本造成模型质量差的问题,并采用语义分析、句法分析和命名实体识别等辅助任务以将语义和 / 或句法知识注入到翻译模型中,实现了在英法、英波斯和英越三种翻译任务上的有效性验证。
May, 2018
本文探讨多任务学习在自然语言生成中的应用,通过多任务学习实现单语言风格转换和基于风格的机器翻译,并展示了在不依赖特定样本的风格注释训练条件下,我们的模型在风格转换和基于风格翻译方面均取得了最先进的性能。
Jun, 2018
提出一种新颖的潜变量翻译分类模型,在多语言 NLU 任务中表现优异,实现了迁移学习。