May, 2024

弥合意图鸿沟：知识增强的视觉生成

PDF
TL;DR通过分析和识别现有生成模型所面临的关键挑战并引入人类见解、预训练模型、逻辑规则和世界知识等多种知识源，本文提出了一种知识增强的迭代优化框架用于视觉内容生成，其中引入了知识反馈模块来逐步改进生成过程，从而提高生成内容与用户意图之间的一致性。通过初步结果展示了所提框架的有效性，突显了知识增强型生成模型在意图一致内容生成方面的潜力。
发现论文，激发创造
  • 知识增强型视觉叙事

    该研究提出了 KG-Story，这是一个通过使用外部知识图谱生成有趣故事的三阶段框架，采用序列化的照片作为输入，比起现有最先进的系统，经人类评价的结果表明 KG-Story 产生的故事平均排名更好。

    Dec, 2019

  • ConVQG：带有多模态引导的对比式视觉问句生成

    通过使用对比可视化问题生成（ConVQG）方法，我们成功地提出了一种生成基于图像、文本约束以及知识的对比问题的方法，实验证明 ConVQG 在相关性、图像相关性和知识丰富性等方面优于现有方法，并通过人类评估显示对 ConVQG 问题的偏好。

    Feb, 2024

  • KBGN：基于知识桥接图网络的视觉 - 文本问答自适应推理

    本文提出了一种新颖的知识桥梁图网络模型，该模型使用图形在细粒度上构建跨模式语义关系的桥梁，通过自适应信息选择模式检索所需的知识，从而清晰地提取视觉对话的推理线索，并通过实验结果在 VisDial v1.0 和 VisDial-Q 数据集上展示了超越现有模型的最先进成果。

    Aug, 2020

  • 知识增强文本生成调查

    本文综述了过去五年间关于知识增强文本生成的研究，主要内容包括将各种形式的知识融合到文本生成中的通用方法与架构，以及基于不同形式的知识数据的具体技术和应用。

    Oct, 2020

  • K-VQG: 基于知识的视觉问题生成，用于常识获取

    该研究通过构建一个基于知识的 VQG 数据集 K-VQG，引入了一个知识获取的角度，并开发了一种新的 VQG 模型，实验结果表明，该模型在 K-VQG 数据集上的表现优于现有的模型。

    Mar, 2022

  • 利用大型语言模型的生成式多模态知识检索

    我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

    Jan, 2024

  • 具有组内语义的知识增强注意力网络用于视觉叙事

    提出了一种基于知识增强的注意力网络，采用分组语义模型，能够生成比现有方法更合理和流畅的多模态视觉叙事，并在客观和主观评估指标上显示出优越性能。

    Mar, 2022

  • 零射多模合成的知识推动

    通过迭代地整合外部知识以帮助生成模型产生可靠的视觉内容，无需广泛的文本 - 图像对注释，Knowledge Pursuit Prompting (KPP) 是一种零样本框架，用于提高多模态生成模型的质量和忠诚度。

    Nov, 2023

  • 通过交互式视觉问题生成和回答定制图像叙述生成

    本文提出了定制化的图像叙事生成任务，通过用户交互式参与生成过程，并尝试通过反复交互阶段来学习用户的兴趣，从而自动生成更广泛主题的多样化描述，同时可针对交互目标进行定制化。

    Apr, 2018

  • 基于知识的会话中的表达学习

    本研究提出一种基于变分方法的分段生成模型，使用两个序列潜状态变量分别表示响应的结构和内容风格，以探索响应中的隐含知识表达模式，并在两个基准测试中获得较好的评估结果。

    Apr, 2022