Jun, 2022

自然语言生成的多任务监督预训练 (MVP)

PDF
TL;DR提出一种基于 supervised pre-training 的自然语言生成模型 MVP，通过大规模语料库 MVPCorpus 在文本 - 文本格式下进行训练，并针对每种任务预训练特定的 soft prompts。实验证明 MVP 在多个自然语言生成任务中表现出色。
pre-trained language modelssupervised pre-trainingnatural language generationtext-to-text formatsoft prompts
发现论文，激发创造
  • 视觉语言预训练模型：一项调查

    本文主要介绍了预训练模型在计算机视觉和自然语言处理中所取得的巨大成功，着重介绍了视觉语言预训练模型 (VLPM) 的重要进展及其结构、预训练和微调策略，并提出了未来三个方向的研究建议。

    Apr, 2022

  • VLP：视觉语言预训练综述

    本文调查了最近关于视觉 - 语言预训练 (VLP) 的进展和新前沿。这是第一篇关注 VLP 的综述文章，并对 VLP 模型做了具体总结，旨在为 VLP 领域的未来研究提供启示。

    Feb, 2022

  • 弃用预训练：将视觉 - 语言模型应用于未知语言

    本文提出一种简单而有效的方法，利用多语言预训练语言模型（MPLM）和跨语言上下文化词嵌入对 VLP 进行了调整和适应，以在未见过的语言上具有出色的表现，而无需大量平行语料库。

    Jun, 2023

  • 探究预训练语言模型在图形生成文本方面的应用

    本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

    Jul, 2020

  • 视觉 - 语言预训练模型综述

    本文综述了视觉 - 语言预训练模型在多模态学习上的进展，介绍了编码图像、文本信息的方法，分析了模型中处理文本与图像交互的主流架构以及已有的预训练任务和下游任务，并提出了未来的研究方向。

    Feb, 2022

  • 通过提示进行模型调整使 NLP 模型具有对抗鲁棒性

    该研究通过 Model-tuning Via Prompts (MVP) 修改输入而非模型以适应下游任务，在三个分类数据集上提高对抗性的稳健性，超过标准方法平均 8％和对抗性训练的最新防御技术 3.5％。研究结果发现多层感知器 (MLP) 易受对抗性扰动的影响归因于预训练和微调任务之间的不匹配和 MLP 参数的随机初始化。

    Mar, 2023

  • 指导预训练：语言模型是受监督的多任务学习器

    该研究探索了通过提供指令进行预训练的受监督多任务预训练方法，通过使用开源模型构建的高效指令合成器生成指令 - 响应对，验证了指令预训练的有效性，并证明在从头开始的预训练和持续预训练中都能增强预训练模型的性能。

    Jun, 2024

  • 利用自然监督进行语言表示学习和生成

    本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。

    Jul, 2022

  • 文本生成的预训练语言模型：综述

    本文综述了预训练语言模型在文本生成方面的主要进展，包括模型结构、输入数据的适配以及重要的微调策略。对于文本生成研究者而言，该综述提供了相关研究的综合和指引。

    May, 2021

  • 通过语言习得将多模态预训练推广到多语言

    本研究提出了一种 MultiLingual Acquisition（MLA）框架，该框架可以将单语言视觉语言预训练模型轻松推广到多语言环境中，并采用两阶段训练策略来优化语言获取编码器。通过更少的数据和计算资源，我们的模型在多语言图像文本和视频文本检索基准上实现了最先进的性能。

    May, 2022