基于阶段训练的无标签多领域机器翻译
本篇论文提出一种利用领域转换网络、知识蒸馏和对抗学习等方法,解决多领域翻译中通用和特定知识的统一建模问题,并在多种语言对上得到了比 fine-tuning 方法更为优秀的结果。
Nov, 2019
本文提出了一种神经机器翻译方法,通过将文本领域视为不同的语言并使用多语言 NMT 方法创建多领域翻译系统,从而实现在单个模型中支持多个领域,我们的方法在翻译质量上有显著提高。同时探究了预先指定文本领域的必要性,发现预先指定领域是必须的,但即使未知也可以达到相当高的翻译质量。
May, 2018
本篇论文提出了使用独立词向量模块和基于词级别注意力机制的领域混合方法来实现多领域神经机器翻译的知识共享和精细化领域特定知识获取,实验结果表明该模型在多项 NMT 任务中表现优秀。
Nov, 2019
本研究提出了一种利用预训练语言模型进行领域特定数据增强的领域自适应新方法,通过该方法,配合回译技术,可生成大量合成双语的领域内数据,从而显著改进了机器翻译的领域内文本的翻译效果。人工评估结果进一步证实了自动评估结果的准确性。
Aug, 2022
本文讨论了如何在多领域和多语言神经机器翻译 (MDML-NMT) 中跨语言传输领域信息,以提高零样本翻译性能和帮助域缺失的多领域 NMT 的泛化。通过组合多语言和多领域 NMT 及添加编码器目标语言标签等有效策略,实现了学习到有针对性的表示和提高性能的目的。
Oct, 2022
本文提出了一种二阶段跨域文本分类的框架,使用掩蔽语言模型和标记数据从源域进行模型微调,然后使用自监督蒸馏和目标域的无标注数据进一步微调模型,实验结果表明我们的方法在单源域(94.17% ↑1.03%)和多源域(95.09% ↑1.34%)适应都达到了最新的最先进水平。
Apr, 2023
本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序,包含了多个适应步骤,并利用伪造数据和领域内句子的优化目标函数,旨在在新的、看不见的领域内显著减少培训的数据需求,其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。
Mar, 2016
我们提出了一种名为 Decoupled Training (D-Train) 的多领域学习方法,它通过分为多个头部进行先预训练再后训练,最后通过固定骨干网络对头部进行微调,实现了领域的独立,尽管该方法非常简单且高效,在各种数据集的广泛评估中表现出色。
Sep, 2023
本文提出了一种多因子图像翻译模型和训练方案,可以在资源消耗和时间所需方面与目标数呈线性缩放,并在 14 位不同艺术家的绘画数据组和阿尔卑斯山四季图像组上展示了其能力。
Dec, 2017