Aug, 2023

渐进特征挖掘与外部知识辅助的文本行人图像检索

PDF
TL;DR该论文提出了一种渐进特征挖掘和外部知识辅助特征净化方法，用于解决文本 - 行人图像检索中的文本多样性和模态差异问题，实验证明该方法的有效性和优越性。
text-pedestrian image retrievalprogressive feature miningexternal knowledge-assisted feature purificationmodal discrepancytext diversity
发现论文，激发创造
  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 通过文本特征可解释嵌入和外部攻击节点插入进行人物文本 - 图像匹配

    该研究提出了一种人物文本 - 图像匹配方法，它通过嵌入文本特征可解释性和外部攻击节点，采用图卷积作为特征表示的基本框架，并模拟了文本和图像多样性对特征提取的对抗攻击和防御来提高模型的鲁棒性，从而有效解决了现有方法面临的挑战。

    Nov, 2022

  • 结合视觉和局部池化文本特征的细粒度图像分类和检索

    本文提供了一种新颖的模型，使用 PHOC 描述符构建一组文本词袋以及 Fisher 向量编码，以处理文本与视觉数据之间的内在关系，从而在图像细分类和图像检索任务中获得最先进的结果。

    Jan, 2020

  • 跨模态建议引导的特征挖掘用于未注册的 RGB - 热红外行人检测

    通过提出跨模态提案引导特征挖掘机制和双流密集检测器，本研究解决了 RGB-T 行人检测中由于未对齐图像对导致的跨模态互补和未对齐行人的识别等问题，并通过数据增强方法和非极大值抑制方法进一步提高了方法的有效性和鲁棒性。

    Aug, 2023

  • 使用最难和半难负对挖掘的视觉 - 文本关联在人物搜索中的应用

    提出了一种采用视觉和文本注意力、交叉模态最难和半硬负对挖掘的新型视觉文本关联方法，通过在 CUHK-PEDES 数据集上的广泛实验，实现了 55.32% 的 top1 得分，成为了新的最先进方法。同时，在 COCO 字幕数据集上评估了半硬匹配挖掘方法，并验证了方法的有效性和互补性。

    Dec, 2019

  • 通过跨模态递进理解进行参考图像分割

    该研究提出了一种基于自然语言表达的交叉模态渐进理解模块和文本引导的特征交换模块，以及基于多模态图推理来高效解决图像分割的问题，并在四个广泛应用的分割数据集中实现了最先进的性能。

    Oct, 2020

  • 从多模态信息指导中学习可转移的行人表示

    本文提出了一种学习可迁移表示以增强各种行人分析任务的新框架 VAL-PAT，并介绍了三个学习目标：自监督对比学习、图像文本对比学习和多属性分类。该框架在无标签人员图像的预训练下实现了良好的性能，并扩展到各种行人分析任务。

    Apr, 2023

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 利用信息筛选进行多模态关系抽取！采用特征去噪和多模态主题建模技术

    我们提出了一种新颖的框架，该框架同时实现了内部信息筛选和外部信息利用的想法，通过对图形信息瓶颈原则的引导进行结构细化，将视觉和文本场景图进一步融合成统一的跨模式图形 (CMG)，通过加入潜在多模态主题特征来丰富语境，在基准 MRE 数据集上，我们的系统显着优于当前最佳模型。

    May, 2023

  • 开放域多模式检索问答的逐步证据细化

    我们提出了一个基于预训练多模态模型的证据检索和问答的两阶段框架来解决模型面临的两个主要挑战：利用压缩的证据特征会导致丢失细粒度信息以及提取问题关键特征时存在特征提取和问题之间的差距。我们的方法包括渐进证据精炼策略来选择关键证据、半监督对比学习训练策略扩展问题领域范围以及多轮检索和问答策略来处理多模态输入。通过大量实验证明了模型的有效性，在 WebQA 和 MultimodelQA 基准测试上取得了出色的性能。

    Oct, 2023