Jun, 2015

显式高层次概念在视觉到语言问题中有什么价值？

PDF
TL;DR本文提出了一种将高层次的概念融入卷积神经网络和循环神经网络的方法，实现了在图像字幕生成和视觉问答的最新技术性能上的显着提升，并展示了通过引入外部语义信息来进一步提高性能。在此过程中，我们分析了高级语义信息在视觉到语言问题中的价值。
发现论文，激发创造
  • 基于属性和外部知识的图像字幕和视觉问答

    本文提出了在成功的卷积神经网络 - 循环神经网络方法中加入高级概念的方法，并证明其在图像字幕和视觉问答中取得了显著的改进。 该机制还可用于合并外部知识，特别是允许在图像中回答有关内容的问题，即使图像本身不能提供完整答案。

    Mar, 2016

  • 基于概念的神经网络分析：视觉 - 语言模型

    通过多模态的视觉 - 语言基础模型作为一种视角，本文提出了一种逻辑规范语言 Con_spec，用于在这些模型的高级人类可理解概念描述的基础上编写规范并进行形式验证，通过采用 VLM 实现自然语言性质的编码和高效检查，以 ResNet 为基础的分类器在 RIVAL-10 数据集上进行的实验验证了我们的技术。

    Mar, 2024

  • 通过引导概念学习实现可理解的卷积神经网络

    该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

    Jan, 2021

  • 任务驱动的卷积循环视觉系统模型

    通过引入前馈卷积神经网络与反馈式局部循环连接设计，提高图像识别准确性，更加贴近灵长类动物视觉系统的神经活动，为当代物体识别任务的研究提供了新的思路。

    Jun, 2018

  • CNN+CNN：用于图像字幕生成的卷积解码器

    本文在图像字幕生成方面，提出了一种仅利用卷积神经网络生成字幕的框架，通过并行计算，训练速度比基于 LSTM 的模型快 3 倍，同时在 MSCOCO 图像字幕数据集上获得了比 LSTM 更高的评估得分。

    May, 2018

  • 深度学习连接图像去噪和高级视觉任务

    本文提出了使用卷积神经网络进行图像去噪和利用深度学习同时处理图像去噪和高级视觉任务的解决方案，并进行了实验验证。

    Sep, 2018

  • 卷积神经网络单元中自然语言概念的发现

    本文尝试理解深度卷积神经网络对自然语言任务训练时的表示方式，发现其各个单元对特定词素、单词和短语具有选择性响应，而非对任意难以解释的模式响应。作者提出了基于复制文本单位响应的概念对齐方法，对多个数据集的分类和翻译任务进行了定量分析，并为我们深入理解深度模型如何理解自然语言提供了新思路。

    Feb, 2019

  • 将输入概念与卷积神经网络的决策联系起来

    本文探究了卷积神经网络 CNN 中通过对输入进行概念识别达到决策的关系，通过考察场景识别 CNN 对 ADE20k 数据集的训练结果，找到并评分给定输入概念的最小分布式表示强度，证实了概念识别对 CNN 决策具有影响力，经常出现在少数场景中的理解程度高的概念表明了正确决策，但认识到许多场景中共同的概念可能会误导 CNN。

    Nov, 2017

  • 基于卷积神经网络的图像字幕语言的实证研究

    本研究介绍了一种基于卷积神经网络的语言模型，适用于统计语言建模任务，在图像字幕生成中表现出竞争性能。相比以前的模型，它使用所有先前的单词进行训练，可以模拟历史单词的长期依赖性，这对图像字幕生成至关重要。该方法在 MS COCO 和 Flickr30K 两个数据集上进行了验证，实验结果显示，相较于基于循环神经网络的语言模型表现更佳，且具有竞争性的最先进技术。

    Dec, 2016

  • 当图像去噪遇见高级视觉任务：一种深度学习方法

    本文使用卷积神经网络对图像去噪，并将其与各种高级任务联合处理，使用联合损失更新去噪网络，证明了同时利用图像语义进行图像去噪及高级视觉任务的益处。

    Jun, 2017