Mar, 2023

组合视觉推理的课程学习

PDF
TL;DR本研究提出了基于预定义跨模态嵌入的神经模块网络方法，以 “热启动” 学习 GQA 数据集，进而采用课程学习作为一种改进训练和更好利用数据的方法，在训练期间引入中间损失，并发现这可以简化课程学习策略。多个困难标准用于定义课程学习方法，该研究表明，适当选择课程学习方法可以大大降低训练成本和训练数据量，并对最终视觉问答准确性影响有限。
visual question answeringneural module networkscurriculum learningcross-modal embeddingsgqa dataset
发现论文，激发创造
  • 教师引导的组合视觉推理的多模态表示

    通过利用跨模态特征和更有效的训练技术，加强了神经模块网络在视觉问答中的性能和透明度。

    Oct, 2023

  • 通用依赖树上的视觉问答推理

    本文提出了一种新的推理网络 ACMN，由两个协作模型组成：对抗注意力模块和残差组合模块，能够构建一种可解释的 VQA 系统，通过逐步跟随问题驱动的推理路线，逐渐深入理解图像线索并以原则性的方式合并所有注意力模块的学习知识进行全局推理。

    Mar, 2018

  • 学习视觉知识记忆网络用于视觉问答

    本文提出了一种基于 VKMN 的视觉知识存储网络，通过 End-to-End 的学习框架将结构化人类知识和深度视觉特征融入到记忆网络中来对抗视觉问答中缺乏对结构化知识的利用的问题，并在 VQA 1.0 和 VQA 2.0 基准测试中表现出显著的性能优势，特别是在涉及知识推理的问题方面。

    Jun, 2018

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 神经符号视觉推理：将 “视觉” 与 “推理” 分离

    本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

    Jun, 2020

  • 神经模块网络

    通过构建和学习神经模块网络，同时利用深度网络的表示能力和问题的组成语言结构，将问题分解成语言子结构，并使用这些结构动态实例化模块化网络，在具有挑战性的视觉问题回答数据集上取得了最先进的结果。

    Nov, 2015

  • 基于记忆增强的多线索推理的知识驱动视觉问答

    通过生成多个线索进行推理的记忆神经网络 (MCR-MemNN) 作为一种全新的框架用于视觉问答，可以更好地利用外部知识来回答更一般性的问题，并且在各模态（图像、问题和知识库）中捕捉到最相关的信息。

    Dec, 2023

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • 神经模块网络用于文本推理

    通过引入能够对文本段进行推理的组件、以概率性和可微分的方式执行数字和日期等符号推理的组件，提出了一种改进的神经模块网络（NMNs）模型，提高了非合成问题的预测效果，实验结果表明，该模型在 DROP 数据集上取得了显著的性能提升。

    Dec, 2019

  • 学会推理：端到端模块化网络用于视觉问答

    本研究提出了一种新的基于神经网络的问题回答方法，使用 End-to-End Module Networks 技术，学习直接预测特定问题网络图层，该方法相对于现有最先进的注意力方法实现了近 50％的误差减少，特别针对 CLEVR 数据集。

    Apr, 2017