Nov, 2023

KOPPA：基于键查询正交投影和基于原型的一对多的提升基于提示的连续学习

PDF
TL;DR基于预训练的 ViT 网络，结合提示调优技术应用于大型语言模型，本研究提出了一种基于正交投影的新型键 - 查询学习策略，增强了提示匹配效率并解决了特征转移的挑战。此外，引入了基于一对多的原型组件来增强分类头的区分度。基准数据集上的实验结果表明，我们的方法使模型的结果超过现有最先进方法多达 20%。
发现论文，激发创造
  • 零空间中的视觉指示调节对于连续学习的影响

    通过对以前任务特征生成的子空间正交方向上调整提示信息，本文提出了在视觉提示调整中实现提示梯度正交投影的一种有效的空间近似解决方案。实验证明了该方法在四个增量学习基准测试中对防止遗忘的有效性，并且优于现有方法的表现。

    Jun, 2024

  • 基于知识的提示调优通用视觉语言模型

    通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

    Aug, 2023

  • 一阶段基于提示的持续学习

    通过引入一种单阶段的 PCL 框架，将中间层的标记嵌入作为提示查询，消除了查询 ViT 的额外前馈阶段，从而在训练和推理中将计算成本降低了约 50%，准确度仅下降不到 1%。此外，引入了查询池正则化损失（QR 损失），用于改进提示查询和提示池之间的关系，该损失仅在训练时应用，因此在推理阶段没有计算开销。通过引入 QR 损失，我们的方法在推理过程中仍然保持了约 50% 的计算成本降低，并且在包括 CIFAR-100、ImageNet-R 和 DomainNet 在内的公共类增量连续学习基准测试中优于之前的两阶段 PCL 方法约 1.4%。

    Feb, 2024

  • CODA-Prompt: 基于分解注意力的持续提示学习

    提出了一种注意力机制的端到端关键查询方案，该方案使用输入为条件的权重来组装预置组件以生成输入为条件的提示，以解决在不断变化的训练数据中进行学习时出现的过度遗忘问题，并在多个基准测试中大幅提高了准确度。

    Nov, 2022

  • 语义残差指令用于持续学习

    通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

    Mar, 2024

  • OLaLa：利用大型语言模型的本体匹配

    该研究采用零样本和少样本提示以及多个开放式大型语言模型应用于本体匹配评估任务，通过少量示例和良好设计的提示，实现与使用更大比例的真实数据的监督匹配系统相媲美的结果。

    Nov, 2023

  • 面向开放词汇多标签分类的基于查询的知识共享

    提出了一种基于查询的知识共享范式，通过预训练的 VLP 模型从输入图像中提取关键的视觉知识，并通过有效的提示池进行鲁棒的标签嵌入，进而在零样本任务中显著提高了标签识别的性能。

    Jan, 2024

  • 知识引导下的视觉语言提示调优

    本文提出了一种新的知识引导背景优化（KgCoOp）方法，通过减少学习提示和手工提示之间的差距，增强了学习提示在未知类别任务中的泛化能力，以实现更好的性能表现和更少的训练时间。

    Mar, 2023

  • 通过多知识表示优化视觉语言模型的提示学习

    Context Optimization with Multi-Knowledge Representation (CoKnow) enhances Prompt Learning for VLMs by addressing the lack of diversity in prompt templates, resulting in improved performance compared to previous methods.

    Apr, 2024

  • 任务驱动对话中基础知识查询的无监督学习

    本文提出了如何在没有知识库查询注释的情况下，使用强化学习和管道方法来训练任务导向型对话系统，并解决了相关问题，并通过分析强化学习算法的相关性和差异，突出了训练任务导向型对话系统的挑战。

    Apr, 2020