May, 2021

TIPCB：一种简单而有效的基于部件的卷积基线用于基于文本的人员搜索

PDF
TL;DR本论文提出一种基于端到端学习的文字搜索人物图像的框架，命名为 TIPCB，采用新颖的双路局部匹配网络结构并提出多阶段的跨模态匹配策略，消除了低层、局部层和全局层三个特征层次上的模态差距，实现了对 CUHK-PEDES 数据集精准的 Top-1、Top-5 和 Top-10 搜索结果，优于当前最先进的方法。
发现论文，激发创造
  • 基于文本的有限数据人物搜索

    本文提出了一种框架，利用跨模态动量对比学习和转移学习方法，来解决限定数据所带来的问题，进一步提高了图像库中针对性描述查询的效率，并在 CUHK-PEDES 数据集上达到了新的最高表现。

    Oct, 2021

  • 基于对比变压器学习的近距离数据生成的基于文本的人物搜索

    提出了一种简单而有效的双变压器模型用于基于文本的人物搜索，通过利用一种感知困难的对比学习策略，自动生成更多多样化的数据以改善数据不足问题，实验结果显示该方法在文本与图像之间的横向检索任务中明显优于其他方法。

    Nov, 2023

  • 无需平行图像 - 文本数据的基于文本的人物搜索

    本文提出了一种基于生成 - 检索（GTR）框架的文本搜索人物图像方法（TBPS），其中通过细粒度图像字幕和噪声评分训练来生成人物图像的伪文本，实现了不需要并行图像 - 文本数据的高效搜索。实验表明，所提出的方法在多个 TBPS 基准（即 CUHK-PEDES、ICFG-PEDES 和 RSTPReid）上具有很好的性能。

    May, 2023

  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 半监督文本式人物搜索

    基于图像标注数据有限的半监督框架下，该论文提出了一个两阶段的基本解决方案，其中生成阶段利用图像字幕模型为未标注图片生成伪文本，检索阶段则使用增广数据进行完全监督的检索学习。而引入了噪声干扰的伪文本的框架，则提出了一个增强检索模型处理噪声数据能力的噪声鲁棒检索框架。该框架结合了混合 Patch-Channel 掩蔽和噪声引导渐进式训练两个关键策略，以防止过度拟合噪声监督，并根据伪文本的噪声水平引入渐进式训练进程。在多个 TBPS 基准测试上的广泛实验表明，该框架在半监督设置下取得了可观的性能。

    Apr, 2024

  • 超越部位模型：精细化部位池化的人员检索（以及强卷积基线）

    本文提出了一种考虑内容一致性的创新方法 -- 基于细节层面的卷积描述符模型及细化的局部池化方法，实现了行人检索的强有力基准模型并大幅度领先了其他方法。

    Nov, 2017

  • 基于文本的人物搜索中的图像特定信息抑制和隐式局部对齐

    本论文提出了一种有效的联合信息和语义对齐网络 (ISANet) 用于文本驱动的人物搜索，该网络能够准确定位和对齐图像和文本之间的信息，并能够适应性地聚合图像和文本特征以实现本地细粒度对应关系和全局对齐，并在多个数据库上取得了优越的性能。

    Aug, 2022

  • 文本人物搜索的跨模态特征校准

    本文提出一种基于文本的人物搜索的新颖有效方法，使用双编码器和分离的跨模态解码器架构，采用两种新的损失来提供细粒度的跨模态特征，并在 CUHK-PEDES，ICFG-PEDES 和 RSTPReID 等三个流行基准测试中创造了排名前三的成绩。

    Apr, 2023

  • 通过文本特征可解释嵌入和外部攻击节点插入进行人物文本 - 图像匹配

    该研究提出了一种人物文本 - 图像匹配方法，它通过嵌入文本特征可解释性和外部攻击节点，采用图卷积作为特征表示的基本框架，并模拟了文本和图像多样性对特征提取的对抗攻击和防御来提高模型的鲁棒性，从而有效解决了现有方法面临的挑战。

    Nov, 2022

  • 基於豐富的中文描述的原型引導型基於文本的人物檢索

    通过使用文本信息从未裁剪的场景图像中同时定位和识别目标人物的文本搜索，我们提出了一个大规模基准数据集 PRW-TPS-CN，该数据集包含 47,102 个句子，与现有数据集相比提供了更多的信息，同时提供中文和英文描述，旨在减轻人物检测和基于文本的人物检索之间的不一致，并通过聚合多个文本作为文本原型来生成图像注意力图，以消除检测不一致导致的文本检索减少，实验证明了我们方法的最新性能和 PRW-TPS-CN 数据集的有效性。

    Dec, 2023