May, 2020

数据到文本任务的文本到文本预训练

PDF
TL;DR本研究探讨了数据生成文本任务中的预训练和微调策略，实验表明，以 T5 为代表的文本预训练方法使得简单的端到端 Transformer 模型在数据生成文本方面的性能优于传统的神经网络体系结构以及其他预训练技术，如 BERT 和 GPT-2。T5 预训练技术在域外测试集上表现出更好的泛化能力，此研究希望成为未来研究的有益基础，随着转移学习在数据生成文本任务中的广泛应用。
pre-trainfine-tunedata-to-textt5 pre-trainingtransfer learning
发现论文，激发创造
  • 使用 Text-To-Text Transfer Transformer 研究支持与代码相关的任务

    本文利用自然语言处理中的 T5 模型并进行深度学习的预训练和微调，以实现支持自动修复代码、代码注释生成等与代码相关任务的性能优化。

    Feb, 2021

  • mT5: 一种大规模多语言预训练文本到文本的转换器

    本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

    Oct, 2020

  • IT5: 面向意大利语理解与生成的大规模文本对文本预训练

    引入了 IT5 模型，这是首个在意大利语上进行预训练的编码器 - 解码器 Transformer 模型家族，研究表明，它在大多数条件语言生成任务中表现出比其多语种对应物更好的性能。

    Mar, 2022

  • 使用统一的文本到文本 Transformer 探索迁移学习的极限

    本文探讨了自然语言处理中的迁移学习技术，提出了一个统一的框架来解决所有基于文本的问题，比较了预训练目标、架构、数据集等因素对于各种语言理解任务的影响，并通过实验与新数据集达到了最先进的结果，并共享了数据集、预训练模型和代码，以促进未来的 NLP 迁移学习研究。

    Oct, 2019

  • ViT5: 预训练的文本到文本 Transformer 模型用于越南语生成

    本文介绍了 ViT5，这是一种使用预训练 Transformer-based encoder-decoder 模型为基础的越南语自然语言处理模型，可以在 Abstractive Text Summarization 和 Named Entity Recognition 等任务中实现出色的表现。

    May, 2022

  • 使用统一文本到文本转换 Transformer 进行极端多领域、多任务学习

    研究了多领域文本转换转换器在 Python Code 和 Chess 领域中 4 个任务上的行为，发现 GPT 风格的联合预训练 + 联合微调策略在多领域，多任务学习中表现最好。

    Sep, 2022

  • mLongT5：针对更长序列的多语言高效文本转换器

    本文介绍了我们关于开发一种适用于处理长输入的多语言高效文本到文本转换器的工作，称为 mLongT5 (即在 LongT5 架构上构建并利用用于预训练 mT5 和 UL2 预训练任务的多语言数据集)，我们评估了该模型在各种多语言摘要和问答任务上的表现，并与现有的多语言模型（如 mBART 或 M-BERT）进行了比较，表明 mLongT5 相对于这些模型具有更强的性能。

    May, 2023

  • 研究预训练语言模型在跨领域数据集上，更接近通用人工智能的一步

    本文研究了预训练语言模型在领域任务泛化能力方面的能力，发现预训练模型在计算机视觉、蛋白质折叠预测等任务中表现出色，优于从头开始训练模型，并指出预训练嵌入在输入层非常重要。

    Jun, 2023

  • AraT5：用于阿拉伯语言生成的文本对文本变换器

    应用多语言 T5 模型在阿拉伯语中进行了评估，针对 7 项任务进行了新颖的基准测试，并使用最新算法，为该领域提出了新型的强大模型

    Aug, 2021

  • 零样本数据到文本生成的神经管线

    本文利用预处理语言模型进行通用领域训练，使用由维基百科构建的 WikiFluent 数据集，在 WebNLG 和 E2E 数据集上进行实验证明，使用单个项目描述生成 D2T 是可行的，且可以从 RDF 三元组中完成零 - shot D2T 生成。

    Mar, 2022