Dec, 2023

Prompt Highlighter：多模态 LLMs 的交互控制

PDF
TL;DR该研究介绍了一种新的推理方法，Prompt Highlighter，通过在生成过程中用户可以突出特定的提示段来实现交互式控制，利用突出显示的令牌通过注意力权重指导模型来产生期望的输出。实验结果证实了该方法在关注输入背景和生成可靠内容方面的有效性。
multi-modal llmsexplicit controllable text generationprompt highlighterautoregressive generative natureclassifier-free diffusion guidance
发现论文，激发创造
  • AutoHint: 自动提示生成的提示优化

    本文提出了一种用于自动化生成和优化大型语言模型中提示的新框架 AutoHint，该框架利用了输入 - 输出演示派生的丰富指示来优化原始提示。通过将当前 LMM 的丰富指示嵌入 LLM 训练中，该方法可以大大提高多个任务的准确性。

    Jul, 2023

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • 意识到提示的适配器：为多模态大型语言模型学习自适应的视觉特征

    为了弥补视觉和语言模态之间的差距，我们提出了 prompt-aware 适配器，这些适配器根据提示的特定焦点动态嵌入视觉输入，以从提示中捕捉到最相关的视觉线索，从而显著增强了大型语言模型理解和解释视觉内容的能力。实验表明 prompt-aware 适配器在各种视觉问答任务（如计数和位置推理）中的有效性。

    May, 2024

  • XPrompt：通过联合提示归因解释大型语言模型的生成

    该研究引入了基于联合提示归属的反事实解释框架 XPrompt，旨在解释少数提示文本是如何共同影响大型语言模型（LLM）的完整生成，并通过定义和利用多个评估指标来展示我们框架的忠实度和效率。

    May, 2024

  • 个性化文本生成的自动提示改写

    通过自动修订提示符来进行个性化文本生成的研究。

    Sep, 2023

  • 赋能视觉语言模型来遵循交替视觉语言指令

    综合评估了多模态大型语言模型的指导遵循能力，并引入了 I4 基准测试，提出了一种智能控制知识重新注入模块和无标注跨注意力引导的反事实图像训练策略，从而实现了在复杂的纷繁视觉语言指令中有效处理的新型多模态大型语言模型 Cheetah，达到了 I4 中所有任务的零样本表现的最新水平，并与当前 MME 基准的最新指导优化模型相比具有竞争力的性能。

    Aug, 2023

  • 通过对抗性内上下文学习进行提示优化

    我们提出了一种新的方法，Adversarial In-Context Learning (adv-ICL)，通过使用一个 LLM 作为生成器，另一个作为鉴别器，以及第三个作为提示修改器来优化背景学习中的提示。我们表明，adv-ICL 在包括摘要、算术推理、机器翻译、数据生成和 MMLU 和 big-bench 难度基准等 11 个生成和分类任务上，相对于最先进的提示优化技术取得了显著的改进。此外，由于我们的方法使用预训练模型，并且仅更新提示而不是模型参数，它在计算上是高效的，易于扩展到任何 LLM 和任务，并且在资源有限的环境中是有效的。

    Dec, 2023

  • 一个提示不够：混合专家提示的自动构建

    使用 Mixture-of-Expert 范例，将问题空间划分为子区域，为每个区域构建专业专家，通过演示集和一条指令来实现任务的智能引导。

    Jun, 2024

  • AutoPrompt: 使用自动生成的提示从语言模型中引导知识

    利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

    Oct, 2020

  • 通过定向促发指导大型语言模型

    通过引入 “方向刺激提示” 框架，使用可调的语言模型（LM）为黑盒冷冻的大语言模型（LLM）在下游任务中提供指导，以重点提示 / 示范以及方向性刺激等手段协助 LLM 完成任务，通过验证取得了鼓舞人心的提升。

    Feb, 2023