预训练多语言翻译模型中的属性控制器是否具有可迁移性?
提出一种简单而灵活的方法,通过对齐分离的属性表示,控制文本生成,用于控制情感极性或特定主题的目标属性。与之前的方法不同,我们使用相同的数据学习对齐函数,而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法,并表现出大幅度的性能提升,同时保持流畅性和多样性。
Mar, 2021
通过跨语言预训练的双语预训练方法,建立了通用编码器,将传递者和接受者的语言空间对齐,使得零翻译成为可能。实验结果表明,该方法显著优于强的基准线和各种多语言 NMT 方法。
Dec, 2019
我们提出了一种基于 Transformer 自编码器和快速梯度迭代修改算法的非监督文本属性转移框架,可在不使用任何平行数据的情况下更改特定属性,同时保留其属性独立内容,并且能够灵活控制转移程度和同时转移多个方面。
May, 2019
本论文展示了在辅助支点语言中提供少量注释数据可以更好地选择用于零 - shot 跨语言迁移的 fine-tuned models,并提出一种基于机器学习的方法用于模型选择,该方法使用 fine-tuned 模型的内部表示来预测其跨语言能力。在广泛的实验中,我们发现这种方法比使用英文验证数据一直可以跨越二十五种语言(包括八种低资源语言)选择更好的模型,并且通常可以达到使用目标语言开发数据进行模型选择的结果
Oct, 2020
本文通过实验证明使用高容量多语言语言模型应用于零样本(基于模型的跨语言转移)情况下能够比基于数据转移更好地执行跨语言序列标注,这可能是由于语言使用的重要差异所致。
Oct, 2022
通过使用预训练模型,我们提出了一种零样本跨语言转移的新方法,它能够在低资源语言上实现任务感知的双语信息对齐,并利用未标记数据进行自我训练,从而实现多种任务上的最新技术提升,无需并行语料库或翻译模型。
Oct, 2023
本文提出一种方案,使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移,以改进跨语言学习的性能,实验结果表明,我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能,进一步的结果证明了 meta-learning 的能力。
Jul, 2022
研究了单一的多语种模型在控制目标语言和形式上的输出,在解决从英语翻译成六种具有不同语法正式标记的语言方面的问题上,可以接近专用翻译模型实现的翻译质量和形式控制,但是预训练语言模型和微调样本的性质对结果有很大的影响。
May, 2022
本文提出一种控制文本数据中多种因素变异的模型,用回译机制代替对解缠缠绕的限制,实现对性别、情感、产品类型等多个属性的控制,并通过在潜空间中的池化运算使内容保留和风格变化之间的权衡更加精细,进一步拓展了去耦合框架的应用范围。
Nov, 2018
分析了 massively multilingual transformers 在零射击跨语言场景中的局限性,并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验,确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外,研究表明通过在源语言上调整细节,再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。
May, 2020