May, 2023

mmT5: 模块化多语言预训练解决源语言幻觉

PDF
TL;DR为解决多语言下序列到序列模型生成不准确的问题，提出一种模块化多语言序列到序列模型 mmT5，通过使用语言特定模块来消除语言特定信息和语言无关信息之间的差异，并发展有效的零 - shot 迁移策略，成功提高了语言生成准确性和模型性能。
multilingualsequence-to-sequencemmt5modularzero-shot transfer
发现论文，激发创造
  • mT5: 一种大规模多语言预训练文本到文本的转换器

    本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

    Oct, 2020

  • 用于资源较少的斯洛文尼亚语的序列到序列预训练

    该研究针对资源较少的斯洛文尼亚语，训练了两个不同尺寸的 T5 类型序列到序列模型，并分析其在 11 个任务中的表现，结果显示 SloT5 模型在分类任务上大多落后于单语斯洛文尼亚 SloBERTa 模型，但在生成性任务上很有用。

    Jul, 2022

  • mLongT5：针对更长序列的多语言高效文本转换器

    本文介绍了我们关于开发一种适用于处理长输入的多语言高效文本到文本转换器的工作，称为 mLongT5 (即在 LongT5 架构上构建并利用用于预训练 mT5 和 UL2 预训练任务的多语言数据集)，我们评估了该模型在各种多语言摘要和问答任务上的表现，并与现有的多语言模型（如 mBART 或 M-BERT）进行了比较，表明 mLongT5 相对于这些模型具有更强的性能。

    May, 2023

  • 零對應跨模態轉換的模塊化語音轉文本翻譯

    通过独立训练的编码器和解码器，通过共享的固定大小表示组合，可以在语音到文本翻译中取得竞争力的性能，本研究表明这种方法可以通过多语种训练进一步改进，我们观察到在零 - shot 跨模态语音翻译中显著提高，甚至在几种语言上胜过基于 XLSR 的有监督方法。

    Oct, 2023

  • SpeechT5：面向口语语言处理的统一模态编解码预训练

    本文介绍了一种名为 SpeechT5 的统一多模态语音文本表示学习框架，该框架采用编码器 - 解码器预训练的方法进行自监督学习，具有包括自动语音识别、语音合成、语音翻译、语音增强和说话人识别在内的广泛的口语处理任务上的卓越性能。

    Oct, 2021

  • CodeT5+: 用于代码理解和生成的开源大型语言模型

    提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

    May, 2023

  • T-Modules: 零样本跨模态机器翻译的翻译模块

    该论文提出了一种新的零样本跨模态翻译方法，通过将多语言语音和文本编码到联合的固定大小的表示空间中，然后比较不同的解码方法以实现跨语言和模态的零样本翻译。尽管有着固定大小的表示空间，但在多个文本和语音翻译任务中取得了非常好的结果，特别是在 Must-C 上零样本语音翻译部分显著改善了最新技术的表现。在该方法的框架中，引入了一个语音解码器，实现了零样本直接语音到语音和文本到语音的翻译。

    May, 2022

  • IT5: 面向意大利语理解与生成的大规模文本对文本预训练

    引入了 IT5 模型，这是首个在意大利语上进行预训练的编码器 - 解码器 Transformer 模型家族，研究表明，它在大多数条件语言生成任务中表现出比其多语种对应物更好的性能。

    Mar, 2022

  • 多语言多模态预训练用于零样本跨语言视觉语言模型迁移

    本文研究了视觉语言模型的零样本跨语言迁移。我们专注于多语言文本到视频搜索，并提出了一种基于 Transformer 模型的方法来学习上下文相关的多语言多模态嵌入。在零样本设置下，我们在用非英语句子查询多语言文本 - 视频模型时发现性能显著下降。为了解决这个问题，我们引入了多语言多模态预训练策略，并收集了一个新的多语言教学视频数据集（MultiHowTo100M）进行预训练。在 VTT 上的实验表明，我们的方法显著提高了非英语语言的视频搜索效果，而无需额外的注释。此外，当有多语言注释时，我们的方法在 VTT 和 VATEX 上的多语言文本到视频搜索以及 Multi30K 上的多语言文本到图像搜索方面大幅优于最近的基准线。

    Mar, 2021

  • 为实现零样本神经机器翻译最大化利用多语言预训练

    论文证明多语言预训练和微调策略对于零 - shot 翻译是至关重要的，本文提出了一个强大的多语言翻译模型 SixT+，支持 100 多种源语言，并实现了在不同翻译任务中的最好表现。

    Oct, 2021