Jul, 2023

基于提示的多任务稠密预测 Transformer

PDF
TL;DR本文介绍了一种简单且轻量级的任务条件模型，名为 Prompt Guided Transformer (PGT)，通过设计一个 Prompt-conditioned Transformer 块，在自注意机制中引入任务特定的提示，以实现全局依赖建模和跨多个任务的参数高效特征适应。实验证明，该方法在使用更少的参数的同时，取得了最先进的结果，并在性能和参数大小之间保持了显著的平衡。
task-conditional architecturemulti-decoder methodsprompt guided transformerparameter efficiencymulti-task dense prediction
发现论文，激发创造
  • HyperPrompt：基于提示的 Transformer 任务调节

    HyperPrompt 是一种基于 HyperNetwork 的结构，通过生成超级提示来为自注意力模型提供任务条件，使得在任务之间可以灵活地共享信息和实现参数和计算效率，从而在 GLUE 和 SuperGLUE 的自然语言理解基准测试中表现出优异的性能。

    Mar, 2022

  • 任务指示变压器用于任务条件密集预测

    利用一种名为 Task Indicating Transformer (TIT) 的新型任务条件框架，在多任务学习中处理任务不可知和任务特定表示的限制，通过引入 Mix Task Adapter 模块和 Task Gate Decoder 模块，提高了全局上下文建模和多尺度特征交互，实现了参数高效的特征适应和多尺度特征细化，并在两个公共多任务密集预测基准上取得了超越业界最新方法的结果。

    Mar, 2024

  • 基于输入的自适应生成网络用于冻结视觉转换器

    本论文介绍了一种基于视觉提示学习的模型适应方法，提出了 Prompt Generation Network (PGN) 网络，通过从端到端学习的词汇表中采样生成高性能、与输入相关的提示，从而使得预先训练的模型更适应不同的数据集。实验表明，PGN 在 12 个数据集上均优于以前的方法，并且在 5 个数据集上甚至优于全微调，而只需要 100 倍以下的参数。

    Oct, 2022

  • 广义少样本分割的视觉引导：多尺度方法

    通过使用学习到的视觉提示，我们的工作研究了在少样本情况下，通过对 Transformer 解码器进行提示，来提高普适少样本分割（GFSS）任务的效果。我们提出了一种利用少量样本学习视觉提示的方法，通过这些学习到的视觉提示，我们可以对多尺度 Transformer 解码器进行提示，以便实现准确的密集预测。此外，我们引入了一种单向因果关注机制，用于连接通过少样本学习到的新提示和通过大量数据学习到的基础提示，从而提升新提示的质量而不损害基础类别的性能。总体而言，这种提示形式帮助我们在两个不同的基准数据集上实现了 GFSS 的最先进性能：COCO-$20^i$ 和 Pascal-$5^i$，而无需进行测试时间的优化或传导。此外，我们还使用未标记的测试数据进行测试时间的优化，以改进这些视觉提示，我们称之为传导提示调优（transductive prompt tuning）。

    Apr, 2024

  • 模式逼近生成优秀的视觉语言提示

    本研究提出了 Aurora，一个优美的提示框架，用于跨模态传递，以解决模型复杂性和模态对齐问题。在六个跨模态下游基准测试中， Aurora 不仅优于最先进的方法，甚至优于完全微调方法。

    May, 2023

  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • 一次编码，多次并行解码：高效 Transformer 解码

    基于 Transformer 的 NLP 模型在计算成本上限制了其应用场景。我们引入了一种新的编码器 - 解码器模型配置（PiD），通过一次编码和并行解码输出来提高结构化输出和问答任务的效率，避免了重复的输入编码以及减小解码器的内存占用，从而获得了可比较或更好性能并具有高达 4.6 倍加速的计算减少。

    Mar, 2024

  • 多任务学习与多查询变换器用于密集预测

    本文提出了一种名为 “Multi-Query Transformer” 的多任务模型，利用多个任务相关的查询来进行跨任务推理，通过查询在多个任务之间建立联系，使得跨任务交互变得简单高效，并在两个密集预测数据集（NYUD-v2 和 PASCAL-Context）上取得了最优效果。

    May, 2022

  • 深度启示轴调节图变压器

    深度图形提示微调是一种替代微调的创新方法，通过在图中引入可训练的特征节点和预处理特定任务的令牌，增强模型的表达能力，从而在小型数据集和大型图形上可扩展地减少自由参数的数量并消除了多个模型副本的需求。

    Sep, 2023

  • 条件语言生成的编码器无关适应

    本研究探讨了一种称为伪自关注的方法，将任意条件输入直接注入到预训练的转换器模型中，提高了语言生成任务的性能，保证了数据效率。

    Aug, 2019