ECCVMay, 2020

ViTAA: 自然语言下的人物搜索中，视觉 - 文本属性对齐

PDF
TL;DR本文提出一种基于属性对齐的视觉 - 文本对齐方法 (ViTAA)，通过较轻的属性分割计算模块分离人物特征空间并使用对比学习损失函数对视觉和文本属性进行对齐，从而成功提升了自然语言下的人物搜索和属性 - 短语查询任务的表现，实现了最先进的结果。
person searchnatural languagevitaa modelvisual-textual attribute alignmentperformance boosting
发现论文，激发创造
  • 面向文本属性的隐式模态对齐的人物搜索

    通过 Attribute-Aware Implicit Modality Alignment (AIMA) 框架，使用 CLIP 模型及 Attribute-IoU Guided Intra-Modal Contrastive (A-IoU IMC) Loss，实现了文本属性人物搜索中文本属性与图像之间的对齐和表示匹配，进一步优化了语义排列。

    Jun, 2024

  • 以精细化理解带来更丰富的视野：基于隐含模态对文本人物检索的对齐

    本研究提出了一种隐式视觉 - 文本框架，通过多级和双向遮罩建模方法实现跨模态匹配，提高了人物的文本检索效果。

    Aug, 2022

  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 视觉问答中的物体属性重要性

    提出了一种基于物体属性利用的视觉问答方法，旨在实现更好的物体级视觉 - 语言对齐和多模态场景理解。通过属性融合模块和对比知识蒸馏模块，构建多模态图神经网络，融合属性和视觉特征，改善细粒度问题的解决和多模态场景的理解，从而提高模型的鲁棒性。通过对六个数据集的密集实验，COCO-QA、VQAv2、VQA-CPv2、VQA-CPv1、VQAvs 和 TDIUC，验证了该方法的优越性。

    Dec, 2023

  • U-VAP: 用户指定的视觉外观个性化通过解耦的自助增强

    通过提出一种新的去耦合自增强策略来生成与用户指定的视觉属性相关和不相关的样本，从而改进个性化模型的对目标属性的理解，进一步增强目标属性的解藕，从而在新颖情境中模拟目标的视觉外观，提高个性化的可控性和灵活性。

    Mar, 2024

  • TagAlign: 多标签分类改进视觉和语言对齐

    通过提取图像和文本特征，我们提出了一种简洁的方法来更好地对齐图像和文本，并通过多标签分类损失补充常用的图像 - 文本对比损失，以提高视觉 - 语言模型的性能。这种方法能够自动解析描述中的对象和属性，并使模型准确定位具有特定属性的对象。

    Dec, 2023

  • 基于注意力机制的自然语言人物检索

    本文提出了一个基于注意力机制的自然语言人物检索系统，并成功应用于监控视频检索领域中，该系统使用了 Faster R-CNN 中的候选区域生成器来提取视觉特征，并利用 BLSTM 模型进行文本特征提取，将其融合后进行得分，可以更加精确地检索到所需的目标。

    May, 2017

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 多模态命名实体识别的图像文本对齐

    本文提出了一种基于图像与文本对齐的多模态命名实体识别技术，通过将图像特征与文本信息在文本空间中对齐，将两者之间的交互作用结合在一起，以此提高命名实体识别的准确性。

    Dec, 2021

  • PV2TEA：将视觉模态补充到文本信息提取中

    该研究旨在将视觉模态与以文本为基础的属性信息提取器相结合，以提高属性值提取的准确性和性能，在此基础上，该文提出了基于编码器 - 解码器结构的 PV2TEA 模型，通过三种偏差降低方案实现跨模态融合，并实验证明相比于单一模态模型，其性能提高了 20.97%.

    Jun, 2023