基于输入的自适应生成网络用于冻结视觉转换器

Oct, 2022

基于输入的自适应生成网络用于冻结视觉转换器

Prompt Generation Networks for Input-based Adaptation of Frozen Vision Transformers

Jochem Loedeman, Maarten C. Stol, Tengda Han, Yuki M. Asano

TL;DR本论文介绍了一种基于视觉提示学习的模型适应方法，提出了 Prompt Generation Network (PGN) 网络，通过从端到端学习的词汇表中采样生成高性能、与输入相关的提示，从而使得预先训练的模型更适应不同的数据集。实验表明，PGN 在 12 个数据集上均优于以前的方法，并且在 5 个数据集上甚至优于全微调，而只需要 100 倍以下的参数。

Abstract

With the introduction of the transformer architecture in computer vision, increasing model scale has been demonstrated as a clear path to achieving performance and robustness gains. However, with model parameter counts reaching the billions, classical finetuning approaches are becoming

transformer architecture visual prompt learning prompt generation network model adaptation pre-trained models

发现论文，激发创造

生成式迁移学习的视觉提示调整

本文探讨了基于视觉转换器（vision transformers）进行生成性知识转移的方法，通过引入可学习的提醒（prompt）标记和设计，成功地实现了良好的图像生成质量和知识转移。

Oct, 2022

文本生成的转移提示学习

本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

May, 2022

我们真的需要大量的视觉提示吗？

本文研究了视觉转换器结构中 Prompt 数量对微调效果和自注意力操作的影响。通过理论和实证分析，我们发现增加 Prompt 数量并不能带来线性的性能提升。为此，我们提出 Prompt Condensation 技术来防止 Prompt 数量过多导致的性能下降，实验证明我们的方法在维持准确度的同时能减少大约 70% 的 prompts 数量。

May, 2023

Input-Tuning: 适应冻结预训练模型的不熟悉输入

本文提出了 input-tuning 的概念，旨在通过 fine-tuning 连续提示和输入表示来更有效地适应陌生的自然语言生成任务输入，实验证明它可以显著且一致地胜过 prompt-tuning。

Mar, 2022

图神经网络的提示调整

本研究探索了 Graph Prompt 作为预训练 GNN 模型适应下游任务的有效替代方法，通过对下游图形的图形级转换进行任务特定的图形提示来实现，从而实现与微调相当甚至在某些情况下获得显著性能提升。

Sep, 2022

HyperPrompt：基于提示的 Transformer 任务调节

HyperPrompt 是一种基于 HyperNetwork 的结构，通过生成超级提示来为自注意力模型提供任务条件，使得在任务之间可以灵活地共享信息和实现参数和计算效率，从而在 GLUE 和 SuperGLUE 的自然语言理解基准测试中表现出优异的性能。

Mar, 2022

IDPG：一种实例相关的提示生成方法

本文提出了一种新的 NLP 迁移学习范式，称为 Prompt Tuning，该范式在模型训练阶段为每个输入实例添加任务特定的提示，并使用 Instance-Dependent Prompt Generation (IDPG) 生成每个输入实例的提示，在 10 个自然语言理解任务中得到了较好的性能。

Apr, 2022

HetGPT: 利用预训练异构图神经网络的提示调节能力

提出了 HetGPT，一种通用的后训练提示框架，用于改善预训练的异构图神经网络（HGNNs）的预测性能，并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。

Oct, 2023

深度启示轴调节图变压器

深度图形提示微调是一种替代微调的创新方法，通过在图中引入可训练的特征节点和预处理特定任务的令牌，增强模型的表达能力，从而在小型数据集和大型图形上可扩展地减少自由参数的数量并消除了多个模型副本的需求。

Sep, 2023

基于提示的多任务稠密预测 Transformer

本文介绍了一种简单且轻量级的任务条件模型，名为 Prompt Guided Transformer (PGT)，通过设计一个 Prompt-conditioned Transformer 块，在自注意机制中引入任务特定的提示，以实现全局依赖建模和跨多个任务的参数高效特征适应。实验证明，该方法在使用更少的参数的同时，取得了最先进的结果，并在性能和参数大小之间保持了显著的平衡。

Jul, 2023