Jan, 2021

全尺度文本人物搜索的背景下的上下文非局部对齐

PDF
TL;DR本文提出了一种名为 NAFS 的方法，能够自适应地在所有尺度上对齐图像和文本特征。该方法首先提出了一种新的阶梯型网络结构，以更好地提取全尺度的图像特征，其次，提出了一种具有局部约束注意力的 BERT 模型，用于获得不同尺度上的描述表示，然后，采用一种新颖的上下文非局部注意力机制，同时探测所有尺度上的潜在对齐。实验结果表明，该方法在基于文本的人物搜索数据集上的 top-1 和 top-5 均优于现有方法 5.53% 和 5.35%。
text-based person searchadaptive alignmentstaircase network structurebert with locality-constrained attentionnon-local attention mechanism
发现论文，激发创造
  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 基于文本的人物搜索中的图像特定信息抑制和隐式局部对齐

    本论文提出了一种有效的联合信息和语义对齐网络 (ISANet) 用于文本驱动的人物搜索，该网络能够准确定位和对齐图像和文本之间的信息，并能够适应性地聚合图像和文本特征以实现本地细粒度对应关系和全局对齐，并在多个数据库上取得了优越的性能。

    Aug, 2022

  • 基于姿态引导的多粒度注意力网络用于基于文本的人物搜索

    该研究提出了一种基于文本描述搜索人物图像的方法，通过使用多层次的视觉内容对不同语义相关性的相关图像和描述进行匹配，其中包括了多粒度的视觉信息。在 CUHK-PEDES 数据集上进行的实验表明，该方法在 top-1 指标上比现有方法高出 15％。

    Sep, 2018

  • 多尺度匹配的人员搜索

    本文提出了一种深度学习的交叉层语义对齐方法（CLSA），用于解决人物搜索中的多尺度匹配问题，并成功地减少了误差和计算量，该方法在两个大型人物搜索基准数据集（CUHK-SYSU 和 PRW）上性能卓越。

    Jul, 2018

  • MOST: 一种用于多方向场景文本检测的本地化精炼方法

    本研究提出了一种用于场景文本检测的新算法，其中提出了一组策略来显着提高文本定位的质量。具体而言，提出了一种文本特征对齐模块（TFAM），用于根据初始原始检测动态调整特征的感受域；设计了一种位置感知非极大值抑制模块（PA-NMS）来选择性地集中于可靠的原始检测，排除不可靠的检测，此外还提出了一种实例 IoU 损失来平衡针对不同比例的文本实例的训练。通过广泛的消融研究，证明了所提出策略的有效性和优越性。最终，将这些策略与业内领先的场景文本检测器 EAST 集成，实现了在保持快速运行速度的同时，达到了各种标准文本检测基准上的最新或有竞争力的性能。

    Apr, 2021

  • 文本 - 图像语义自对齐网络用于部位感知的人员再识别

    本文提出了一种语义自对齐网络 (SSAN)，旨在解决文本到图像中的人物再识别 (text-to-image person re-identification) 中的问题。SSAN 使用一个新颖的手段 —— 自动从两种模态提取语义对齐的部分级特征，并通过设计一个多视角非局部网络来捕捉身体部分之间的关系，从而建立更好的身体部位和名词短语之间的对应关系。此外， SSAN 还引入了一种 Compound Ranking (CR) loss，利用同一身份的其他图像的文本描述提供额外的监督，从而有效地降低文本特征的类内差异。经过广泛的实验，证明了该方法在性能上优于现有的最先进方法和一些高级算法，并提供了新的 ICFG-PEDES 数据集和 SSAN 代码。

    Jul, 2021

  • ViTAA: 自然语言下的人物搜索中，视觉 - 文本属性对齐

    本文提出一种基于属性对齐的视觉 - 文本对齐方法 (ViTAA)，通过较轻的属性分割计算模块分离人物特征空间并使用对比学习损失函数对视觉和文本属性进行对齐，从而成功提升了自然语言下的人物搜索和属性 - 短语查询任务的表现，实现了最先进的结果。

    May, 2020

  • 基于逐层分步对齐的图像 - 文本匹配网络

    本文提出了一种逐步分层对齐网络 (SHAN) 的图像 - 文本匹配方法，将图像 - 文本匹配分解成多步跨模态推理过程以捕捉层次化的细粒度相关性，并在两个基准数据集上进行了实验。

    Jun, 2021

  • LAIP: 从图像短语建模中学习本地对齐以用于基于文本的人物搜索

    本篇论文提出了基于图像 - 短语建模的本地对齐（LAIP）框架，其中包括双向注意力加权本地对齐（BidirAtt）和掩码短语建模（MPM）模块。实验证明，LAIP 框架在 CUHK-PEDES、ICFG-PEDES 和 RSTPReid 数据集上相比于现有方法具有更好的性能。

    Jun, 2024

  • 面向快速准确的图像文本检索与自监督细粒度对齐

    在这项工作中，我们在独立嵌入框架之上提出了一个图像 - 文本对齐模块 SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像 - 文本对齐，提高了检索准确性同时保持了检索效率。

    Aug, 2023