Mar, 2024

MAGID: 生成合成多模态数据集的自动化流程

PDF
TL;DR我们引入了 MAGID，一个以多模式互动系统为基础的创新框架，通过高质量且多样化的图像增强了仅有文本的对话，通过扩充图像数据库取得显著的人类评估改进。
multimodal interactive systemsconversational datamagiddiffusion modeldialogue datasets
发现论文，激发创造
  • IMAD: 图像增强的多模态对话

    该研究提出了一种基于多模态视角的对话系统，并通过构建 IMAD 数据集和进行基线模型训练，证明了其在图像解释、数据集建设和模型表现方面具有潜在优势。

    May, 2023

  • MuRAG: 图像和文本开放式问答的多模式检索增强生成器

    MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

    Oct, 2022

  • DialogGen: 多模态交互式对话系统用于多轮文本到图像生成

    通过将多模态大型语言模型与文本到图像生成模型相结合，提出了一种用于多轮文本到图像生成的多模态交互对话系统，同时引入了一种全面的多模态对话评估基准，以评估模型在生成准确且连贯的多模态内容上的能力，包括模态切换和输出图像的连贯性。

    Mar, 2024

  • iRAG：一种用于视频的增量检索增强生成系统

    通过增量流程的方式，iRAG 提供对大规模、真实世界的多模态数据的高效交互式查询，比传统的 RAG 系统更快地将视频转换为文本，并确保与传统 RAG 相比，响应交互用户查询的质量相当。

    Apr, 2024

  • MAGIC: 多模态关系图对抗推理，用于不同和不配对的基于文本的图像标题

    研究了如何利用 unpaired training paradigm 生成多样化的文字图像描述，提出了 Multimodal relAtional Graph adversarIal inferenCe (MAGIC) 框架，并使用一种级联生成对抗网络从 multimodal graphs 中推断出相关联的多样化图像描述。

    Dec, 2021

  • 语言模型的视野：在文本生成中插入视觉控制

    本研究提出了一个名为 MAGIC 的无需训练的框架，它能够将视觉控制插入文本生成过程中，并使 LM 在零样本情况下执行多模态任务，如图像字幕生成。在零样本图像字幕生成方面，MAGIC 在几乎 27 倍的解码加速度下，极大地超越了现有的最先进方法。

    May, 2022

  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022

  • 用语义相关的图片替换文本构建多模式对话数据集

    本文提出创建一种包含图像的 45k 多模态对话数据集的方法，该方法通过准备、预处理文本对话数据集、使用文本转图像技术创建混合图像对话，以及利用基于上下文相似性的过滤步骤确保数据集的上下文一致性。自动度量和人类评估结果表明，我们的数据集可以有效地用于多模态对话系统的训练，需要以上下文感知的方式理解图像和文本。

    Jul, 2021

  • PromptMagician：文本到图像创作的交互式提示工程

    开发有效的提示对于生成高质量图像的强大能力具有挑战性，因此本研究提出了 PromptMagician，一个视觉分析系统，通过推荐模型和多层次可视化来帮助用户探索和优化生成图像的输入提示。研究通过用户研究和专家访谈证明了该系统的有效性和可用性，从而改善生成图文模型的创造力支持。

    Jul, 2023

  • MAGDi: 多智能体交互图的结构化蒸馏提升较小语言模型的推理能力

    通过多个大型语言模型之间的多智能体交互，结构化蒸馏途径（MAGDi）通过将多智能体交互表示为图形、通过图形编码器增强基础学生模型，并使用三个目标函数进行知识蒸馏，即下一个标记预测、正确和错误推理之间的对比损失以及基于图形的目标函数。对七个广泛使用的常识和数学推理基准进行的实验证明，MAGDi 提高了较小模型的推理能力，表现优于从单个教师和多个教师进行蒸馏的几种方法。此外，MAGDi 还比其教师高出数量级的效率。我们进行了广泛的分析，显示 MAGDi（1）增强了对域外任务的泛化能力，（2）与基础学生模型的大小和强度正相关，（3）在应用自一致性的多教师训练方面取得了更大的改进，后者是一种依赖于模型多样性的推理技术。

    Feb, 2024