语义嵌入式深度神经网络：提升多标签图像分类性能的通用方法

May, 2023

语义嵌入式深度神经网络：提升多标签图像分类性能的通用方法

Semantic Embedded Deep Neural Network: A Generic Approach to Boost Multi-Label Image Classification Performance

Xin Shen, Xiaonan Zhao, Rui Luo

TL;DR本文介绍了一种使用语义嵌入深度神经网络，采用基于空间感知语义特征和通道注意力模型的方法来提高多标签预测模型性能的方法。实验证明，与基线方法相比，该方法平均相对改进 15.27％，在 Instagram 时尚服装图像上进行了多标签时尚属性分类的核心实验和消融研究，并将模型性能与我们的方法进行比较，发现我们的方法性能更优秀。

Abstract

fine-grained multi-label classification models have broad applications in Amazon production features, such as visual based label predictions ranging from fashion attribute detection to brand recognition. One challenge to achieve satisfactory performance for those classification tasks i

fine-grained multi-label classification visual-based label predictions deep neural network semantic embedding auc score

发现论文，激发创造

基于语义图嵌入的跨模态注意力模型用于多标记分类

该研究提出了一种使用跨模态关注力和语义图嵌入的方法来进行多标签分类，该方法能够有效捕获标签之间的空间或时间依赖关系，并发现每个类的具有区分性特征的位置，实验结果表明该方法优于现有的最先进技术。

Dec, 2019

基于语义感知的注意力神经嵌入在基于图像的视觉定位中的应用

提出了一种新的，综合了外观和语义信息的 2D VL 定位方法，该方法使用多模态线索生成稳健的嵌入向量，其中利用了场景的语义布局的不变性，并提出了一个基于深度学习的注重注意力的框架来指导嵌入向量生成的过程，在三个具有挑战性的本地化数据集上测试，平均绝对提高了 19％，并且通过对模型各个组件进行广泛研究，证明了语义信息和注意模块的贡献。

Dec, 2018

语义多样性学习用于零样本多标签分类

该研究介绍一种用于多标签零样本学习的神经网络模型训练方法，该方法使用具有主要嵌入向量的嵌入矩阵并在训练期间加权损失函数以鼓励嵌入矩阵多样化，以提高基于标签的图像检索的零样本模型的质量。该方法在多个常见数据集（NUS-Wide，COCO， Open Images）上实现了 SoTA 的结果。

May, 2021

大规模图像标注的多模态多尺度深度学习

本文提出了一种新的多尺度深层模型来提取富有判别性的特征，能够表示从物体、场景到抽象概念的各种视觉概念，并引入标签数量预测辅助任务来明确估计给定图像的最优标签数量。在两个大规模图像注释基准数据集上进行了广泛的实验，结果表明我们的方法明显优于现有技术水平。

Sep, 2017

深度卷积排序多标签图像注释

通过结合卷积结构和近似 top-k 排名目标，利用深度神经网络的特征，改进了多标签图像注释，并在 NUS-WIDE 数据集上实现了比传统视觉特征高大约 10% 的性能表现，提出了一种有效的方法。

Dec, 2013

深度语义词典学习用于多标签图像分类

本文提出了一种新颖的端到端模型 DSDL，将多标签图像分类问题视为字典学习任务，利用自动编码器将类级语义生成语义词典，利用字典表示 CNN 提取的视觉特征，同时通过 APUS 算法优化，为多标签图像分类问题提供了一种简单而优雅的解决方案，与现有技术相比具有更好的性能。

Dec, 2020

概念掩模：基于语义概念的大规模分割

本论文提出了一种新的基于弱监督和半监督框架的语义分割系统，可以处理包括对象、部分、杂物和属性在内的无限数量的概念，通过训练深度神经网络，产生视觉 - 语义嵌入，在完全注释的数据集上训练注意力驱动类无关分割网络。

Aug, 2018

基于层级结构的图像嵌入方法用于语义图像检索

该研究提出了通过将图像映射到类别嵌入中以学习语义鉴别性特征的方法，从而提高图像检索结果的语义一致性。结果显示在 CIFAR-100，NABirds 和 ImageNet 上，学习到的图像嵌入大大提高了图像检索结果的语义一致性。

Sep, 2018

为细粒度特征表征嵌入标签结构

本文提出了一种多任务学习框架，同时优化分类和相似性约束，将标签结构（如层次结构或共享属性）嵌入到框架中以建模多级相关性，从而实现精细的特征表示，并在细粒度数据集上得到了非常竞争的性能。

Dec, 2015

从显式类嵌入的角度提升语义分割

本文提出了 ECENet，它是一种新的分割范式，通过在与多阶段图像特征交互过程中显式地获得和增强类别嵌入，探索了传统解码过程并探索了分割掩模和类别嵌入之间的反向信息流，同时通过特征重建模块来确保骨干中特征的可区分性和信息丰富度，实验结果表明我们的 ECENet 在 ADE20K 数据集上的性能优于其他模型，且计算成本较低，在 PASCAL-Context 数据集上实现了新的最先进结果。

Aug, 2023