零射多模合成的知识推动

Nov, 2023

Knowledge Pursuit Prompting for Zero-Shot Multimodal Synthesis

Jinqi Luo, Kwan Ho Ryan Chan, Dimitris Dimos, René Vidal

TL;DR通过迭代地整合外部知识以帮助生成模型产生可靠的视觉内容，无需广泛的文本 - 图像对注释，Knowledge Pursuit Prompting (KPP) 是一种零样本框架，用于提高多模态生成模型的质量和忠诚度。

Abstract

Hallucinations and unfaithful synthesis due to inaccurate prompts with insufficient semantic details are widely observed in multimodal generative models. A prevalent strategy to align multiple modalities is to fine-tune the generator with a large number of annotated text-image pairs. However, such a procedure is labor-consuming and resource-draining. The key

multimodal generative models knowledge pursuit prompting (kpp)zero-shot framework text-driven generative tasks faithful and semantically rich content

发现论文，激发创造

指导零样本学习的提示生成

通过进一步采用指令跟随技术来提取具有综合转移知识的指导性视觉提示，以解决固定学习提示在已知领域上过分强调训练期间观察到的主要视觉特征的问题，并通过引导学习的指令提示来实现对视觉表示的反向校正，从而弥补缺失的视觉细节并消除跨模态差异，为未知领域的泛化带来显著性能提升。

Jun, 2024

用迭代零样本 LLM 触发知识图谱构建

本文提出了一种基于生成式语言模型的知识图谱生成方法，通过迭代提示和零样本学习等策略解决了知识图谱构建中的一些核心问题，具有可扩展性和广泛适应性。

Jul, 2023

基于知识的提示调优通用视觉语言模型

通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

Aug, 2023

大型语言模型的时间符号化知识获取

这篇论文研究了将现有的大型语言模型的能力应用于以提示为驱动的知识捕捉，重点关注知识图谱，并探索了零样点提示、少样点提示和微调三种方法，并通过专用合成数据集评估了它们的性能。

Feb, 2024

面向生成视觉问答的多模态提示检索

提出了一种结合多模态提示检索和生成模型的方法，该方法可以在医学领域的视觉问题回答任务中比非检索方法提高高达 30％的精度。

Jun, 2023

知识增强语言模型为零 - shot 知识图谱问答做准备

提出了一种通过直接在 LLM 的输入中添加知识以增强其内部存储的知识的方法，称为 KAPING，通过在知识图上检索相关事实来改善零 - shot 闭书问答任务性能，经验证跨多个大小不同的 LLM，基于事实的知识增强方法相对于相关零 - shot 基线的平均表现提高达 48%。

Jun, 2023

预训练语言模型中的知识激发对自然语言理解的影响

本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

双重文本图像指示下的多模式程序规划

研究了利用图文混合信息来辅助人类完成任务的方法，提出了基于多模态程序规划的任务，使用基于大型语言模型的有提示和图片描述提示的方法可以生成具有信息性和准确性的图文混合任务规划。

May, 2023

通过无监督知识蒸馏提高学得提示的零样本推理能力

这篇论文介绍了一种名为知识蒸馏提示学习的方法，通过无监督知识蒸馏从更强大的模型中提取知识，以提高基于提示学习技术的视觉 - 语言模型在零样本领域泛化、跨数据集泛化以及基于新类的零样本泛化问题上的推广能力。

Jul, 2024

弥合意图鸿沟：知识增强的视觉生成

通过分析和识别现有生成模型所面临的关键挑战并引入人类见解、预训练模型、逻辑规则和世界知识等多种知识源，本文提出了一种知识增强的迭代优化框架用于视觉内容生成，其中引入了知识反馈模块来逐步改进生成过程，从而提高生成内容与用户意图之间的一致性。通过初步结果展示了所提框架的有效性，突显了知识增强型生成模型在意图一致内容生成方面的潜力。

May, 2024