Mar, 2020

医学图像视觉问答的问题中心模型

PDF
TL;DR本论文提出一种基于视觉问答的方法来查询深度学习模型的行为，通过在多个医学和自然图像数据集上进行实验，证明该方法较目前方法具有相同或更高的准确度，有效地解决了深度学习方法缺乏透明性的问题。
发现论文，激发创造
  • 医学视觉问答中的本地化问题

    文章提出了一种针对医学图像的视觉问答模型，该模型能够考虑上下文并回答关于图片区域的问题，实验结果表明该方法在三个数据集上优于现有方法。

    Jul, 2023

  • 走向透明化的 AI 系统：解释视觉问答模型

    该论文探讨使用引导反向传播和遮挡等可视化技术，解释视觉问答（VQA）模型的工作过程，并发现即使没有显式注意机制，VQA 模型有时也会隐含地关注图像中的相关区域和问题中的适当单词。

    Aug, 2016

  • 基于外部知识的自由形式视觉问答

    提出了一种结合图像内容的内部表示和来自广义知识库提取的信息以回答广泛的基于图像的问题的视觉问答方法，可回答自然语言提出的关于图像内容以外信息的问题，显示在 Toronto COCO-QA 和 MS COCO-VQA 数据集上获得最佳结果。

    Nov, 2015

  • 探索图像问答模型和数据

    本研究旨在通过新的模型和数据集解决基于图像的问答问题，使用神经网络和视觉语义嵌入预测有关图像的简单问题的答案，提出了一种将图片描述转化为问答格式的问题生成算法，为新的数据集提供了基线结果。

    May, 2015

  • 使用深度学习的视觉问答：调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 面向视觉问答的聚焦动态注意力模型

    本文提出了一种基于 Focused Dynamic Attention 模型的视觉问答方法，该方法通过结合全局特征和重点区域信息，能够更好地处理细粒度信息和语言语义，进而提高了视觉问答的表现。

    Apr, 2016

  • 医学领域的视觉问答

    通过使用领域特定的预训练策略，包括一种新颖的对比学习预训练方法，解决医学视觉问答任务中数据集规模小的问题，我们的模型在 VQA-Med 2019 测试集上达到了 60% 的准确率，与其他最先进的 Med-VQA 模型具有可比性。

    Sep, 2023

  • VQA-Machine：掌握使用现有视觉算法回答新问题的方法

    该研究提出了一种新的 co-attention 模型来利用现成的算法实现图像操作，从而达到居于最先进水平的视觉问答结果。

    Dec, 2016

  • 逆向视觉问答：一个新的基准和 VQA 诊断工具

    本篇文章提出了 iVQA 问题，利用变分模型来生成多样化、语法正确、与答案相关性较强的问题，并将其作为一种新型的视觉 - 语言理解基准测试。同时，还提出了使用强化学习框架来诊断现有 VQA 模型，揭示其内在缺陷的方法。

    Mar, 2018