Jan, 2024

图像语义和语法序列学习导向

PDF
TL;DR通过引入 “图像语法” 的概念，结合卷积神经网络和视觉变换器，我们提出了一个两阶段的弱监督学习方法，利用深度聚类和特征细化生成部分 - 语义分割，并结合双向长短时记忆模块处理语义分割补丁序列以捕捉图像语法，实现了对图像补丁损坏的准确检测，在多种语义和句法损坏场景中，验证了我们的框架在 Celeb 和 SUNRGBD 数据集上能够实现 70% 到 90% 的语法验证准确度。
convolutional neural networksvision transformersimage grammardeep clusteringsemantic segmentation
发现论文，激发创造
  • 朝向视觉语法理解

    通过改变自然图像的句法（例如交换一个脸部的眼睛和鼻子）来调查深度神经网络对此类句法异常的敏感性，并提出了一个三阶段框架来实现深度神经网络的视觉句法理解。通过使用类似于 BERT 的图像掩蔽自编码器进行训练，我们在 CelebA 和 AFHQ 数据集上进行实验证明了方法的广义性能。

    Jan, 2024

  • 学习图像和句子匹配的语义概念和顺序

    该研究提出了一种基于学习语义概念并按照正确语义顺序组织它们来提高图像表示的语义增强图像和句子匹配模型，利用多区域多标签 CNN 预测图像语义概念并使用上下文门控句子生成方案进行语义顺序学习，与传统 LSTM 结合执行图像和句子匹配和生成。这项工作在两个公共基准数据集上实现了最先进的结果。

    Dec, 2017

  • 半监督自修正语义图像分割网络

    本研究介绍了一种半监督框架，通过一个辅助模型和一个自我纠正模块，在只有一小部分完全有监督图像的基础上，使用具有目标边界框标签的图像和只有目标边界框标签的图像集（称为弱集），训练出高质量的语义分割模型，这种方法比传统大量完全有监督数据模型要求的标注工作量减少～7 倍。

    Nov, 2018

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 通过学习图像描述实现深度结构场景解析

    本文提出了一种基于深度架构的场景理解方法，通过一个卷积神经网络和一个递归神经网络分别提取图像特征和分层物体结构，结合基于描述性语句的弱监督训练，实现场景图像的自动解析，该方法在 PASCAL VOC 2012 数据集上表现出色。

    Apr, 2016

  • 简单语义辅助的少样本学习

    利用少量数据进行学习是一项具有挑战性的计算机视觉任务，本文通过引入高质量的语义以及使用简单的网络结构，设计了一个名为 “语义进化” 的自动化方式来解决少样本学习中的问题，实验证明该方法在少样本分类任务中表现优异。

    Nov, 2023

  • 基于先验知识对语义图像解释中的监督不完整性进行补偿

    本研究提出了一种基于逻辑张量网络的零样本学习方法，利用背景知识和与其他已知关系的相似性来推断在训练集中不存在的三元组 (主语，谓语，宾语)，并在视觉关系数据集上实现了更好的性能表现。

    Oct, 2019

  • 多重语义下走向少样本学习的初步探索

    本研究关注于使用额外语义信息以便在少量样本时进行图像分类，研究表明组合多种语义信息可以带来更好的效果。

    Jun, 2019

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 学习预测布局到图像的条件卷积，用于语义图像合成

    通过在生成器中条件化卷积核以更好地利用语义布局，提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法，该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。

    Oct, 2019