文章提出了 Prompt Diffusion 这个框架，可以实现基于扩散的生成模型的上下文学习，同时还展示了其在机器视觉中的应用，包括视觉 - 语言任务和文本指导的图像编辑。

May, 2023

我们提出了 Context Diffusion，这是一种基于扩散的框架，使图像生成模型能够从环境中呈现的可视示例中学习。通过为查询图像提供上下文示例和文本提示，最近的工作解决了图像生成中的这种上下文学习问题。然而，当没有提示时，生成的图像的质量和保真度会降低，表明这些模型无法真正从视觉环境中学习。为了解决这个问题，我们提出了一种新颖的框架，将可视环境的编码和查询图像结构分开。这使得我们的模型能够从视觉环境和文本提示中学习，也能从其中任何一个中学习。此外，我们使我们的模型能够处理少量示例的设置，以有效地解决不同的上下文学习场景。我们的实验证明和用户研究表明，与对应的模型相比，Context Diffusion 在领域内和领域外的任务中都表现出色，从而提高了图像质量和保真度。

Dec, 2023

本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

Jul, 2023

通过引入可学习的嵌入（元提示）来利用扩散模型解决视觉感知任务，我们的方法在深度估计和语义分割任务上取得了新的性能记录，并在 ADE20K 的语义分割和 COCO 数据集的姿态估计等方面达到了与最先进方法相媲美的结果，展示了其稳健性和多功能性。

Dec, 2023

预测生成式扩散模型所生成图像的文本提示，采用联合回归和多标签词汇分类目标的新型学习框架，结合白盒和黑盒模型解决生成文本提示的问题，并通过课程学习和领域自适应核学习方法进一步改进。实验结果表明，该学习框架在预测文本提示任务上取得了出色的结果，尤其在白盒模型上应用时效果最好，并发现在生成文本到图像时将该模型用于回收训练能够使生成的图像与输入提示更好地对齐。

Aug, 2023

此篇论文提出了一种名为 Prompt-Free Diffusion 的图像合成框架，该框架基于仅视觉输入，不需要文本提示就能生成新图像，其核心架构是语义上下文编码器 (SeeCoder)，该框架在图像合成方面表现出色，不仅在基于示例的合成方法方面优于先前的方法，在遵循最佳实践的提示下，也能与最先进的 T2I 模型相媲美。

May, 2023

本研究提出了 IMProv - 一种生成模型，能够从多模态提示中进行上下文学习，以解决计算机视觉任务，并通过文本条件和数据集缩放来提高任务性能。

Dec, 2023

通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

Dec, 2023

通过构建一个大规模指示遵循数据集，以及提出高频率引导采样方法和辅助提示适配器，即 PromptFix，使扩散模型在各种图像处理任务中优于以往方法，同时在盲恢复和组合任务中展现出卓越的零样本能力。

May, 2024

本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在 COCO 和 SA-1B 上进行联合训练，我们的模型在 COCO 上达到 57.7 PQ，在 ADE20K 上达到 23.2 PQ。

Nov, 2023