Nov, 2023

基于对比变压器学习的近距离数据生成的基于文本的人物搜索

PDF
TL;DR提出了一种简单而有效的双变压器模型用于基于文本的人物搜索，通过利用一种感知困难的对比学习策略，自动生成更多多样化的数据以改善数据不足问题，实验结果显示该方法在文本与图像之间的横向检索任务中明显优于其他方法。
text-based person searchcross-modal retrievaltransformer modelproximity data generationfine-grained visual-linguistic tasks
发现论文，激发创造
  • 基于文本的有限数据人物搜索

    本文提出了一种框架，利用跨模态动量对比学习和转移学习方法，来解决限定数据所带来的问题，进一步提高了图像库中针对性描述查询的效率，并在 CUHK-PEDES 数据集上达到了新的最高表现。

    Oct, 2021

  • 无需平行图像 - 文本数据的基于文本的人物搜索

    本文提出了一种基于生成 - 检索（GTR）框架的文本搜索人物图像方法（TBPS），其中通过细粒度图像字幕和噪声评分训练来生成人物图像的伪文本，实现了不需要并行图像 - 文本数据的高效搜索。实验表明，所提出的方法在多个 TBPS 基准（即 CUHK-PEDES、ICFG-PEDES 和 RSTPReid）上具有很好的性能。

    May, 2023

  • 半监督文本式人物搜索

    基于图像标注数据有限的半监督框架下，该论文提出了一个两阶段的基本解决方案，其中生成阶段利用图像字幕模型为未标注图片生成伪文本，检索阶段则使用增广数据进行完全监督的检索学习。而引入了噪声干扰的伪文本的框架，则提出了一个增强检索模型处理噪声数据能力的噪声鲁棒检索框架。该框架结合了混合 Patch-Channel 掩蔽和噪声引导渐进式训练两个关键策略，以防止过度拟合噪声监督，并根据伪文本的噪声水平引入渐进式训练进程。在多个 TBPS 基准测试上的广泛实验表明，该框架在半监督设置下取得了可观的性能。

    Apr, 2024

  • 基于文本的人物搜索中 CLIP 的实证研究

    基于 Contrastive Language Image Pretraining 的 TBPS 模型设计及研究，提供对 CLIP-based TBPS 任务的全面实证研究以及一个强大的 TBPS-CLIP 基准模型。

    Aug, 2023

  • VGSG: 基于视觉引导的文本人物检索的语义组网络

    通过提出一种视觉引导的语义组网络 (VGSG)，本文针对基于文本的人物搜索 (TBPS) 问题，在引导的视觉线索下提取了对齐良好的细粒度视觉和文本特征，并设计了一种关系性知识传递方法来适应地传播信息从而在无需外部工具和复杂配对交互的情况下将语义组文本特征与相应的视觉特征进行对齐，该方法在两个具有挑战性的基准测试中展现了优越性。

    Nov, 2023

  • 基於豐富的中文描述的原型引導型基於文本的人物檢索

    通过使用文本信息从未裁剪的场景图像中同时定位和识别目标人物的文本搜索，我们提出了一个大规模基准数据集 PRW-TPS-CN，该数据集包含 47,102 个句子，与现有数据集相比提供了更多的信息，同时提供中文和英文描述，旨在减轻人物检测和基于文本的人物检索之间的不一致，并通过聚合多个文本作为文本原型来生成图像注意力图，以消除检测不一致导致的文本检索减少，实验证明了我们方法的最新性能和 PRW-TPS-CN 数据集的有效性。

    Dec, 2023

  • 基于 CLIP 的文本为基础的人物检索的协同知识迁移

    使用 CLIP 的协同知识转移方法 (CLIP-based Synergistic Knowledge Transfer) 提出了文本检索任务 (Text-based Person Retrieval) 的新方法，该方法通过 Bidirectional Prompts Transferring (BPT) 模块和 Dual Adapters Transferring (DAT) 机制实现了在视觉和语言方向上的知识转移，提高了特征融合和模型泛化效果。

    Sep, 2023

  • TIPCB：一种简单而有效的基于部件的卷积基线用于基于文本的人员搜索

    本论文提出一种基于端到端学习的文字搜索人物图像的框架，命名为 TIPCB，采用新颖的双路局部匹配网络结构并提出多阶段的跨模态匹配策略，消除了低层、局部层和全局层三个特征层次上的模态差距，实现了对 CUHK-PEDES 数据集精准的 Top-1、Top-5 和 Top-10 搜索结果，优于当前最先进的方法。

    May, 2021

  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 基于对比个性蒸馏的零样本个性化表格生成

    研究采用零样本的方式进行个性化表格文本生成，提出了一种半监督方法，利用对比个性蒸馏实现个性化内容。该方法旨在提高文本信息生成的个性化表现，同时维持内容的真实性，实验表明该方法表现出色。

    Apr, 2023