May, 2024

双焦点：整合文本式个体检索中的正负描述符的统一框架

PDF
TL;DRText-based person retrieval is enhanced through the integration of positive and negative descriptors in the DualFocus framework, which employs Dual Attribute Prompt Learning and Dynamic Tokenwise Similarity loss for improved precision and robustness.
text-based person retrievalvisual and textual datapositive and negative descriptorsdualfocustoken-level comparisons
发现论文，激发创造
  • 双重焦点：在多模态大型语言模型中整合宏观和微观视角

    通过在多模态大型语言模型中引入双重聚焦机制，该研究提出了一种新颖的框架，能够提升视觉 - 语言任务的性能，并在综合考虑全局、细节和综合因素的任务中展现出卓越优势。利用来自宏观和微观视角的图像信息和问题响应，该模型通过识别合适的子区域进行深入分析，从而实现对局部区域的详细问题的解答能力，从而减少了大型语言模型中的幻觉现象，并提高了各种视觉 - 语言任务的性能。

    Feb, 2024

  • 双模态注意力增强的文本 - 视频检索与三元局部对比学习

    通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本 - 视频检索的性能。

    Sep, 2023

  • 走向统一的基于文本的人员检索：一个大规模多属性和语言搜索基准

    本文提出了名为 MALS 的大型文本人物检索数据集，探讨了在属性识别和图像文本匹配任务上进行预训练的可行性，并使用 APTM 框架进行验证，取得了 3 个现实世界基准测试的最新检索表现。

    Jun, 2023

  • 基于对比变压器学习的近距离数据生成的基于文本的人物搜索

    提出了一种简单而有效的双变压器模型用于基于文本的人物搜索，通过利用一种感知困难的对比学习策略，自动生成更多多样化的数据以改善数据不足问题，实验结果显示该方法在文本与图像之间的横向检索任务中明显优于其他方法。

    Nov, 2023

  • 基于文本的有限数据人物搜索

    本文提出了一种框架，利用跨模态动量对比学习和转移学习方法，来解决限定数据所带来的问题，进一步提高了图像库中针对性描述查询的效率，并在 CUHK-PEDES 数据集上达到了新的最高表现。

    Oct, 2021

  • 基於豐富的中文描述的原型引導型基於文本的人物檢索

    通过使用文本信息从未裁剪的场景图像中同时定位和识别目标人物的文本搜索，我们提出了一个大规模基准数据集 PRW-TPS-CN，该数据集包含 47,102 个句子，与现有数据集相比提供了更多的信息，同时提供中文和英文描述，旨在减轻人物检测和基于文本的人物检索之间的不一致，并通过聚合多个文本作为文本原型来生成图像注意力图，以消除检测不一致导致的文本检索减少，实验证明了我们方法的最新性能和 PRW-TPS-CN 数据集的有效性。

    Dec, 2023

  • 动态提示学习：解决文本为基础的图像编辑中的交叉注意力泄漏问题

    基于大规模的文本到图像生成模型，本研究针对图像编辑的问题，通过动态提示学习 (DPL) 方法修复交叉注意力图，实现对特定对象的精细图像编辑，防止对其他图像区域的意外更改。通过广泛的评估，DPL 方法在多个指标上取得了卓越的结果，尤其是在复杂的多物体场景中进行的提示编辑，包括单词替换、提示改进和注意力重新加权。

    Sep, 2023

  • 释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

    提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

    Jul, 2023

  • 使用最难和半难负对挖掘的视觉 - 文本关联在人物搜索中的应用

    提出了一种采用视觉和文本注意力、交叉模态最难和半硬负对挖掘的新型视觉文本关联方法，通过在 CUHK-PEDES 数据集上的广泛实验，实现了 55.32% 的 top1 得分，成为了新的最先进方法。同时，在 COCO 字幕数据集上评估了半硬匹配挖掘方法，并验证了方法的有效性和互补性。

    Dec, 2019

  • 无需平行图像 - 文本数据的基于文本的人物搜索

    本文提出了一种基于生成 - 检索（GTR）框架的文本搜索人物图像方法（TBPS），其中通过细粒度图像字幕和噪声评分训练来生成人物图像的伪文本，实现了不需要并行图像 - 文本数据的高效搜索。实验表明，所提出的方法在多个 TBPS 基准（即 CUHK-PEDES、ICFG-PEDES 和 RSTPReid）上具有很好的性能。

    May, 2023