ICCVJan, 2020

基于不确定性的视觉问答类激活图

PDF
TL;DR这篇研究提出了一种方法，通过基于梯度的确定性估计来解决视觉问答任务，进一步利用这些估计来获得可视化的注意力图，从而提高深度学习模型的确定性估计和解释能力，并在各项标准基准测试中提供实证分析及与现有方法的比较
deep learning modelsgradient-based certainty estimatesvisual attention mapsvisual question answering taskprobabilistic deep learning
发现论文，激发创造
  • U-CAM: 基于不确定性的类激活映射的可视化解释

    本研究针对深度学习模型的解释提出了一种方法，通过梯度获取与误分类样本更相关的确信度估计和提供视觉注意力图，特别是在视觉问答任务中，该方法采用现代概率深度学习方法，并进一步通过这些估计梯度进行改进，得到具有人类注意区域相关性的先进的注意力图，从而提供了更好的解释能力。我们在所有标准基准测试上提供了详细的实证分析和与现有方法的比较。

    Aug, 2019

  • 走向透明化的 AI 系统：解释视觉问答模型

    该论文探讨使用引导反向传播和遮挡等可视化技术，解释视觉问答（VQA）模型的工作过程，并发现即使没有显式注意机制，VQA 模型有时也会隐含地关注图像中的相关区域和问题中的适当单词。

    Aug, 2016

  • Explanation vs Attention: 一种用于 VQA 注重力获取的双人博弈

    使用对抗训练作为监督学习来提高注意力映射，改善视觉问答任务的表现，同时与其他学习分布的方法相比，发现对抗损失函数表现更好。

    Nov, 2019

  • 基于 VQA 的视觉基础方法的负面案例分析

    为解决当前 VQA 方法依赖于数据集偏见和统计相关性的问题，提出了利用视觉提示进行 VQA 模型性能优化的方法，但实现的改进并不是由于视觉提示的影响，而是正则化效应，为此提出了一种不需要外部数据注释的简单正则化方案。

    Apr, 2020

  • 医学图像视觉问答的问题中心模型

    本论文提出一种基于视觉问答的方法来查询深度学习模型的行为，通过在多个医学和自然图像数据集上进行实验，证明该方法较目前方法具有相同或更高的准确度，有效地解决了深度学习方法缺乏透明性的问题。

    Mar, 2020

  • 自我批判推理用于稳健的视觉问答

    该研究提出了自我批判的训练目标，通过确定人类视觉 / 文本解释或仅来自问题和答案中的重要单词的具有影响力的图像区域，确保正确答案的视觉解释与竞争答案候选者相比更匹配，以解决 Visual Question Answering 系统在训练数据上捕捉表面统计相关性的问题。应用于 VQA-CP 数据集，使用文本解释获得 49.5％，使用自动注释区域获得 48.5％，在 VQA 泛化任务中达到了最新的技术水平。

    May, 2019

  • 引导式关注推理网络：告诉我该看哪里

    利用弱监督学习和注意力图，我们提出了一种新的建模方法，使得注意力图成为端到端训练的自然组成部分，并通过直接从网络本身探索监督来直接在这些图上提供自我指导，从而成功地解决了以前方法中的缺点，并在语义分割任务上优于现有技术。

    Feb, 2018

  • 基于注意力监控挖掘的视觉驻留解释性视觉问答

    本文展示了使用可用的区域描述和物体注释自动获取定位监督来有效地训练具有基于解释性的可视化问题回答 (VQA) 模型，并呈现了我们的模型的训练效果，表明其生成的视觉定位效果与手动注释的效果更接近，同时实现了最先进的 VQA 准确性。

    Aug, 2018

  • 基於不確定性的注意力機制用於可靠的解釋和預測

    通过引入输入相关的不确定度来学习输入不确定的实例的更大方差， 我们使用变分推断学习了不确定性感知注意力机制， 并在不同的高风险预测任务中验证了其有效性。进一步的评估表明，我们的模型生成符合临床医生解释的注意力，并通过学习方差提供更丰富的解释。

    May, 2018

  • 探索可变自编码器的可视化解释

    本文提出了一种基于梯度的注意力机制技术，用于解释变分自编码器（VAE）及其预测，该技术通过生成学习到的潜在空间的视觉注意力，可用于图像中异常的定位，并能融入模型训练来帮助改善潜在空间分解，这在 MVTec-AD 和 Dsprites 数据集上表现出了最先进的性能。

    Nov, 2019