May, 2023

mLongT5：针对更长序列的多语言高效文本转换器

PDF
TL;DR本文介绍了我们关于开发一种适用于处理长输入的多语言高效文本到文本转换器的工作，称为 mLongT5 (即在 LongT5 架构上构建并利用用于预训练 mT5 和 UL2 预训练任务的多语言数据集)，我们评估了该模型在各种多语言摘要和问答任务上的表现，并与现有的多语言模型（如 mBART 或 M-BERT）进行了比较，表明 mLongT5 相对于这些模型具有更强的性能。
multilingualtext-to-text transformerlongt5pretrainingperformance
发现论文，激发创造
  • LongT5: 高效的长序列文本转换器

    本文介绍了一种新模型 LongT5，该模型将长输入变换（ETC）的注意力机制和摘要预训练（PEGASUS）的预训练策略整合到可扩展的 T5 架构中，取得了更好的自然语言摘要和问答系统结果。

    Dec, 2021

  • mT5: 一种大规模多语言预训练文本到文本的转换器

    本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

    Oct, 2020

  • 印尼语多语 T5 转换器

    本文研究了将 mT5 多语言模型适应为仅针对印尼语的预训练 T5 模型，通过对多语言模型与本模型在情感分析、问题生成和问答三个任务的表现进行比较，结果表明可以生成一个更小的预训练模型并在 comparable yields 的同时减小模型大小高达 58％，而且所得模型需要更少的内存，加载速度更快，推理时间更快。

    Feb, 2023

  • MT6: 多语言预训练文本转文本 Transformer 及其翻译数据对

    该研究旨在提高跨语言文本之间转换的效果。通过使用三种跨语言文本 - to-text 预训练任务和部分非自回归目标，将 Multilingual T5 的结果进一步提高到 mT6。经过实验验证，该方法提高了基于八个多语言基准数据集的跨语言转移能力。

    Apr, 2021

  • 通过数据库模式修剪改进自我关注的多语言 SQL 翻译器

    本文提出了一种技术，使长文本序列可以通过 transformers 处理，这对于自然语言到 SQL 查询的翻译非常有用，该技术包括训练过程、数据库架构修剪和多语言方法。

    Jun, 2023

  • 多语句 - T5：可扩展的多语句编码器适用于多语言应用

    我们介绍了基于 NLI 的多语言句子嵌入模型 m-ST5，通过扩展现有的单语模型 Sentence T5 以低秩适应（LoRA）技术成功将模型参数规模扩展到 57 亿，并通过实验证实方法优于基于 NLI 的先前方法，尤其是对资源较少或与英语相似性较低的语言受益更多。

    Mar, 2024

  • IT5: 面向意大利语理解与生成的大规模文本对文本预训练

    引入了 IT5 模型，这是首个在意大利语上进行预训练的编码器 - 解码器 Transformer 模型家族，研究表明，它在大多数条件语言生成任务中表现出比其多语种对应物更好的性能。

    Mar, 2022

  • 用于资源较少的斯洛文尼亚语的序列到序列预训练

    该研究针对资源较少的斯洛文尼亚语，训练了两个不同尺寸的 T5 类型序列到序列模型，并分析其在 11 个任务中的表现，结果显示 SloT5 模型在分类任务上大多落后于单语斯洛文尼亚 SloBERTa 模型，但在生成性任务上很有用。

    Jul, 2022

  • 多语言冒犯性语言识别的文本对文本模型

    社交媒体上冒犯内容的普遍存在是公司和政府组织越来越关注的问题。本研究提出了第一个具有编码器 - 解码器结构的预训练模型，用于冒犯语言识别，并在两个大型冒犯语言识别数据集（SOLID 和 CCTK）上训练。研究结果表明，预训练的 T5 模型在多个英文基准测试中优于其他基于变压器的模型，在多语言场景中，多语言预训练模型在所有上述数据集上实现了新的最优表现。

    Dec, 2023

  • 调整预训练的文本 - 文本模型以适应长文本序列

    本文介绍了一项关于预训练模型适应长序列输入的经验研究，并提出一种构建长上下文模型的有效方法，包括采用池化增强分块注意力替换 transformers 中的全局注意力机制、采用不同长度的遮盖跨度预测任务、使用随机串联的短文档等。最终，研究人员成功构建出具有竞争性的长文本问答模型，并在五个长文本摘要数据集上取得了新的性能最高记录。

    Sep, 2022