本文介绍了一种使用语义嵌入深度神经网络，采用基于空间感知语义特征和通道注意力模型的方法来提高多标签预测模型性能的方法。实验证明，与基线方法相比，该方法平均相对改进 15.27％，在 Instagram 时尚服装图像上进行了多标签时尚属性分类的核心实验和消融研究，并将模型性能与我们的方法进行比较，发现我们的方法性能更优秀。

May, 2023

本文提出了一种新的视频字幕生成方法，利用多种视觉特征和语义属性的层次，采用 LSTM 网络进行句子生成，实现自动选取最突出的视觉特征或语义属性，有望提高字幕生成的精确度。实验结果表明，该框架胜过现有最先进的方法，并可进一步提升精度至近于人类水平。

Dec, 2016

本文提出了一种基于 Semantic-aware Graph Matching 的多标签图像识别框架（ML-SGM），通过建模内容感知（instance）和语义感知（label）之间的关系，显式建立分类之间的相关性和实例 - 标签对应关系，以促进多标签图像理解，并减少对每个类别的大量训练样本的依赖。备考外流考试，了解更多。

Apr, 2023

本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

Nov, 2019

提出了一种新的，综合了外观和语义信息的 2D VL 定位方法，该方法使用多模态线索生成稳健的嵌入向量，其中利用了场景的语义布局的不变性，并提出了一个基于深度学习的注重注意力的框架来指导嵌入向量生成的过程，在三个具有挑战性的本地化数据集上测试，平均绝对提高了 19％，并且通过对模型各个组件进行广泛研究，证明了语义信息和注意模块的贡献。

Dec, 2018

本研究提出一种基于标签图叠加框架的多标签识别解决方案，以图卷积网络（GCN）为基础，通过超 impose 技术建立标签相互作用图，并将其与 GCN 及 CNN 的信息交流，以提高特征学习和数据表示。实验表明，该方法大大提高了多标签识别的性能且达到了新的最佳表现。

Nov, 2019

3D 视觉定位是指在给定相应的文本描述时，自动定位指定对象的 3D 区域。现有的研究在识别相似对象时存在困难，特别是当描述中涉及多个相关对象时。本文提出了一种基于图网络和设计的记忆图注意力层的语义增强关系学习模型 SeCG，以加强不同模态之间的关系导向映射。实验证明，相比现有的最先进方法，本方法提高了多关系挑战的本地化性能。

Mar, 2024

我们提出了一种新的层级分类感知和注意图胶囊递归卷积神经网络框架，以实现大规模多标签文本分类。

Jun, 2019

利用知识图谱从多个角度探索解决多模态电影类型分类的问题，包括未利用的元数据组关系、可靠的注意力分配以及不可区分的特征融合，通过准备元数据的领域知识图谱，整合不同模态数据，构建可靠的注意力分配和增强特征区分能力的框架，并在两个数据集上进行实验证明本模型优于现有方法。

Oct, 2023

提出了一种 Semantic-Specific Graph Representation Learning (SSGRL) 的框架，包含两个重要模块：语义解耦模块和语义交互模块，其中语义解耦模块结合类别语义以指导学习语义特定表示，语义交互模块则将这些表示与基于统计标签共现构建的图相互关联，可以通过图传播机制来探索它们的相互作用，通过大量的公共基准测试，证明 SSGRL 框架优于现有的最新方法。

Aug, 2019