ECCVSep, 2018

早期融合和批次规范对 CLEVR 视觉问答中细节的影响

PDF
TL;DR本文研究了在 Visual QA 领域中取得强大性能的初馈聚合模型的复杂性，发现了一些架构上的要素对于其性能的关键作用，其中早期的语言 - 视觉融合是最为有效的，为此我们提出了一种称之为 “多模核” 的简单模块，旨在为多模任务提供基本操作。
visual qalanguagevisionearly fusionmultimodal tasks
发现论文，激发创造
  • 超级 CLEVR：诊断视觉推理领域鲁棒性的虚拟基准测试

    通过 Super-CLEVR 虚拟基准测试数据，我们研究了不同领域转移的因素，考察了四种现有的 VQA 方法，两种神经符号方法和两种非符号方法以及我们提出的方法 P-NSVQA，发现结合不确定性推理，将推理和感知分离形成一个强大的基于视觉与前因关系问题答案模型，可以更好地应对域迁移。

    Dec, 2022

  • ViCLEVR：一种用于越南视觉问答的视觉推理数据集和混合多模态融合模型

    通过引入具有开拓性质的 ViCLEVR 数据集，该研究对当代视觉推理系统进行了全面分析，提出了一种综合的多模态融合模型 PhoVIT，并在四个评估指标上取得了最先进的性能，进一步促进了针对低资源语言的多模态融合算法的发展。

    Oct, 2023

  • 测量 CLEVRness：对视觉推理模型的黑盒测试

    通过视觉问答框架和基于 CLEVR 的故障排除数据集，提出了一种双方游戏来评估视觉智能系统的推理能力，并探讨了数据驱动方法在没有利用数据集中的种种偏见的情况下是否可以进行推理。

    Feb, 2022

  • 跨语言视觉问答深入探究

    该研究探讨了跨语言视觉问答的许多方面，包括输入数据、微调和评估方法，研究了不同多语言多模态变压器下不同问题类型的交互。该研究还针对训练数据和模型进行了广泛的分析，旨在进一步了解为什么在某些问题类型和语言中仍存在零 - shot 效果差距，从而指导多语言 VQA 的进一步发展。

    Feb, 2022

  • 揭示视频问答模型中联合多模态理解的幻觉

    通过 QUAG 探究 VideoQA Transformer 模型对于多模态结构与动态的理解，提出对于多模态 VideoQA 表示的可靠性检验，CLAVI Benchmark, 通过对反事实情景的测评，发现目前的模型在处理多模态 VideoQA 表示的亚优化方面有待改善。

    Jun, 2023

  • 问题感知视觉变换器用于多模态推理

    QA-ViT 是一种用于多模态推理的问题感知视觉 Transformer 方法，通过将问题感知能力直接嵌入到视觉编码器中，实现动态视觉特征，并且可以有效地应用于各种多模态架构，提高对视觉和场景文本的理解能力。

    Feb, 2024

  • 无强先验条件下的视觉推理学习

    通过条件批量归一化对 CLEVR 视觉推理基准进行训练，我们的方法在人工视觉推理方面实现了最先进的成果，这表明带有适当条件的通用架构可以有效地学习进行视觉推理。

    Jul, 2017

  • 视觉问答中的物体属性重要性

    提出了一种基于物体属性利用的视觉问答方法，旨在实现更好的物体级视觉 - 语言对齐和多模态场景理解。通过属性融合模块和对比知识蒸馏模块，构建多模态图神经网络，融合属性和视觉特征，改善细粒度问题的解决和多模态场景的理解，从而提高模型的鲁棒性。通过对六个数据集的密集实验，COCO-QA、VQAv2、VQA-CPv2、VQA-CPv1、VQAvs 和 TDIUC，验证了该方法的优越性。

    Dec, 2023

  • CLOSURE: 评估 CLEVR 模型的系统泛化能力

    本文研究了当前用于处理 CLEVR 数据集的一些模型的泛化，提出了一种基于闭包基准测试的方法，结果显示，当前流行的模型在处理普遍化方面往往表现不佳；作者提出了一种新的向量模块神经网络体系结构，能够增强 NMN 模型的系统性泛化能力，并且研究了少样本转移学习对模型的影响。

    Dec, 2019

  • 透明度设计：在视觉推理中弥合性能与可解释性之间的差距

    本文提出一种可视化推理基元的方法，将其组合成一种能够通过显式可解释的方式执行复杂推理任务的模型，并在 CLEVR 数据集上取得了 99.1% 的准确度，同时有效地学习了泛化表示。

    Mar, 2018