Jan, 2024

基于记忆的时序提示交互方法用于文本 - 图像分类

PDF
TL;DR我们提出了一种受人类记忆策略启发的新型基于提示的多模态交互策略，通过在中间层上相互作用提示向量以实现足够的信息交换，同时具有压缩的可训练参数和内存使用，取得了具有竞争力的结果。
large-scale pre-trained multimodal modelsprompt-based interaction strategymemory-inspired temporal prompt interactionintermediate layerstrainable parameters
发现论文，激发创造
  • 双重文本图像指示下的多模式程序规划

    研究了利用图文混合信息来辅助人类完成任务的方法，提出了基于多模态程序规划的任务，使用基于大型语言模型的有提示和图片描述提示的方法可以生成具有信息性和准确性的图文混合任务规划。

    May, 2023

  • Instruction-ViT: ViT 中用于指令学习的多模态提示

    本篇论文研究了采用提示（prompt）对图片进行分类的方法，通过引入多模质询与 fine-tuning 相结合的方式，提高了图片分类的性能和领域适应性。

    Apr, 2023

  • 多提示与深度分割的跨模态学习

    本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

    May, 2023

  • 通过预训练和多任务微调掌握多模态机器人操作

    通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在 VIMA-BENCH 上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了 10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。

    Oct, 2023

  • 自适应多模态提示学习

    提出了一种自适应多模式提示学习方法，通过同时考虑样本内外的泛化性和掩盖无意义的图像区域来解决当前提示学习方法存在的局限性，实验结果表明该方法在不同下游任务中优于现有方法。

    Nov, 2023

  • 通过图像记号进行语义提示的持续学习

    我们介绍了一种名为 I-Prompt 的方法，它是一种与任务无关的方法，专注于图像令牌的视觉语义信息，以消除任务预测，并在四个基准测试中达到了竞争性能，同时与最先进的方法相比显著减少了训练时间。通过大量实验，我们证明了我们的方法在各种场景下的优越性。

    Mar, 2024

  • MemoryPrompt：用于提升预训练语言模型中上下文追踪的轻量级封装

    Transformer-based language models can be enhanced with MemoryPrompt, a leaner approach that complements the model with a small auxiliary recurrent network, improving the model's ability to track multiple fact updates and avoiding catastrophic forgetting when adapted to new tasks.

    Feb, 2024

  • 使用提示进行多模态视觉理解，实现图像语义信息的解耦

    通过对多模式图像使用提示来提高图像的语义理解能力，将视觉与语言处理相结合，以生成更准确的预测和识别图像，并通过提供更强大的图像表示来改进单模态模型，这是一个有前途的研究领域。

    May, 2023

  • 探索视觉提示在多模态大型语言模型中的可转移性

    通过 Transferable Visual Prompting (TVP) 这一新方法，在只对一个模型进行训练的情况下，有效改善多样化的 Multimodal Large Language Models (MLLMs) 的性能，以提高其在下游任务中的应用能力。

    Apr, 2024

  • 语义残差指令用于持续学习

    通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

    Mar, 2024