ACLApr, 2021

移动应用迭代反馈任务（MoTIF）：解决交互式视觉环境中任务可行性的问题

PDF
TL;DR该研究介绍了 Mobile app Tasks with Iterative Feedback (MoTIF) 数据集，对比以往任务更为复杂，集成自然语言指令，并引入不可满足情况及其后续问题，以解决任务不确定性，表明需要更丰富的视觉 - 语言表示和更高效的架构来解决任务可行性。
vision-language researchinteractive question answeringmotif datasetnatural language commandstask uncertainty resolution
发现论文，激发创造
  • 2022 Logically 论文：多模式事实验证

    本文描述了我们在 2022 AAAI 多模态事实验证（Factify）挑战上的参与系统。 我们处理该挑战为多模态蕴含任务，作为多类分类，并提出并探索了两种基线方法，包括集成模型和多模态注意力网络。 我们在此工作中测试了不同 SoTA 预训练变换器和视觉模型。 最佳模型在排行榜中排名第一， 平均 F - 度量值为 0.77。 最后，我们强调了未来研究的任务和多模态数据集的挑战。

    Dec, 2021

  • COCO 是视觉指导微调所需的全部

    利用 COOC 数据集和更多多样化指令建立了新的多模态大语言模型指令细调数据集，实验证明用该数据集进行的细调在单轮和多轮对话设置中，在开放式评估基准上能够获得更好的性能。

    Jan, 2024

  • 以意象为探索：探索一种用于对话推荐的多模态数据集

    通过多模态数据集，我们介绍了一个用户通过图像表达偏好的研究。这个数据集包含了从风景到艺术表现的广泛的视觉表达，用户请求推荐具有类似感觉的书或音乐，并由社区通过点赞支持。我们的实验证明了大型基础模型在这些任务中的局限性。特别是，视觉 - 语言模型与仅使用描述的语言模型相比没有显著优势，我们推测这是因为未充分利用的视觉能力。为了更好地利用这些能力，我们提出了图像链推理的方法，并取得了显著改进。我们公开发布了我们的代码和数据集。

    May, 2024

  • 2023 ICCV 多模态算法推理任务 SMART-101 挑战的解决方案

    本文介绍了我们在 SMART-101 挑战中解决多模态算法推理任务的解决方案。我们使用分而治之的方法，在数据层面上将所有问题分为八类，并利用 llama-2-chat 模型以零射方式直接生成每个问题的类别。此外，我们在 icon45 数据集上训练了一个 yolov7 模型用于目标检测，并将其与 OCR 方法结合起来识别和定位图像中的对象和文本。在模型层面上，我们使用 BLIP-2 模型并为图像编码器 VIT-G 添加了八个适配器，以自适应地提取不同问题类型的视觉特征。我们将预先构建的问题模板作为输入，使用 flan-t5-xxl 解码器生成答案。在拼图分割配置下，我们在验证集上获得了 26.5 的准确率得分，并在私有测试集上获得了 24.30 的准确率得分。

    Oct, 2023

  • MM-PhyQA：多模态物理问题回答与多图 CoT 提示

    利用现有模型对多步骤物理推理任务进行评估，通过引入多模态元素的高中级别物理问题的新数据集 MM-PhyQA，测试了包括 GPT-4 和 LLaVA 在内的多个大型语言模型的性能，并展示了基于 MI-CoT 提示技术的 LLaVA-1.5 13b 模型在测试集上的最佳结果，具有最高的 71.65% 准确率。

    Apr, 2024

  • 通过可操控性和可组合性实现视觉智能和语言智能

    该研究探索了多模态大型语言模型在处理复杂的多步骤任务中的能力，重点研究了模型的可操控性、可组合性以及对长期记忆和上下文理解的应用。通过评估 800 个导向性对话的结果，本研究发现不同任务的完成难度存在明显差异，强调了开发结合长期记忆和上下文意识的语言模型在复杂问题解决情境中模拟人类思维过程的重要性。

    Nov, 2023

  • CoCoT: 大型多模型多图像输入的对比思维链接引导

    当探索人工通用智能（AGI）的发展时，大型多模态模型（LMMs）在处理多个图像输入的信息时面临两个问题：细粒度感知的缺乏和融合多个图像的倾向。我们首先广泛研究了 LMMs 在处理多个输入图像时感知细粒度视觉细节的能力。研究集中在两个方面：首先，图像与图像匹配（评估 LMMs 是否能够有效推理和配对相关图像），其次，多图像与文本匹配（评估 LMMs 是否能够准确捕捉和总结详细的图像信息）。我们对一系列开源和闭源的大型模型进行评估，包括 GPT-4V，Gemini，OpenFlamingo 和 MMICL。为了增强模型性能，我们还基于多输入多模态模型开发了一种对比的思维链（CoCoT）启发方法。该方法要求 LMMs 比较多个图像输入的相似性和差异性，然后根据确定的相似性和差异性指导模型回答关于多图像输入的详细问题。我们的实验结果展示了 CoCoT 在增强大型多模态模型的多图像理解能力方面的熟练度。

    Jan, 2024

  • 多模式机器翻译模型的合理性检查：关注视觉确保准确性

    本文研究了多模式机器翻译（MMT）系统在存在视觉上下文时比纯文本神经机器翻译（NMT）系统表现更好，并探讨了视觉数据集对于 MMT 模型的训练和评估的重要性，表明 MMT 架构相关的有效研究目前受到合适数据集的限制，未来的 MMT 数据集必须经过仔细考虑。

    Sep, 2021

  • 多模态澄清问题在混合主动对话式搜索中的应用

    在混合主动交互搜索系统中，通过添加图像到澄清问题并提出多模态澄清问题的新任务，可以显著提高查询澄清过程的效果，改善信息检索性能，从而有效地解决了用户在表达意图和解决查询模糊性方面的困难。

    Feb, 2024

  • 端到端多模态事实核查与解释生成：一组具有挑战性的数据集和模型

    我们提出了一种端到端的多模态事实核查和解释生成方法，利用包括文章、图片、视频以及推特在内的大量网络资源来评估索赔的真实性，并生成一个有理化陈述来解释推理和裁定过程。我们构建了 Mocheg，这是一个大规模数据集，包括 21,184 个索赔和 58,523 条文本和图像形式的证据。我们在多模态证据检索、索赔验证和解释生成三个子任务上进行了几种最先进的神经网络结构的实验，以建立基准性能，并展示端到端多模态事实核查的最新性能仍然远远不够令人满意。据我们所知，我们是第一个建立端到端多模态事实核查和证明基准数据集和解决方案的研究团队。

    May, 2022