Jun, 2023

RISCLIP: 使用 CLIP 的参考图像分割框架

PDF
TL;DR本文提出了一种基于 Contrastive Language-Image Pretraining (CLIP) 的新框架，通过 Fusion Adapters 和 Backbone Adapters 的方式对 RIS 进行有效的调整，实现了在三个重要的 RIS benchmarks 上的新的最高水平，且无需额外的预训练和数据准备。
referring image segmentationcontrastive language-image pretrainingmulti-modal communicationbackbone adaptersris benchmarks
发现论文，激发创造
  • CRIS: 基于 CLIP 推理的参考图像分割

    本文提出了一种基于 CLIP 的终端到终端的指代图像分割框架（CRIS），该框架采用视觉语言解码器和对比学习实现文本到像素级特征的对齐，通过在三个基准数据集上的实验结果表明，该框架的性能显著优于现有方法。

    Nov, 2021

  • RankCLIP: 语言 - 图像一致的排序预训练

    通过在大量文本图像对上进行自我监督的对比学习，RankCLIP 在扩展 CLIP 的刚性一对一匹配框架的同时，利用模态内和跨模态的排序一致性来提高对齐过程，捕捉每种模态之间和内部的细致的多对多关系，有效提升各种下游任务的性能，尤其在零样本分类方面，显著超越现有方法，突显了 RankCLIP 在进一步推进视觉语言预训练方面的潜力。

    Apr, 2024

  • ReCLIP：使用源域自适应提炼对比语言图像预训练

    通过提出 ReCLIP 方法，第一个无需源数据或目标标记数据的视觉 - 语言模型领域自适应方法，该方法使用伪标签进行交叉模态自训练以减小领域间差异和错位对模型性能的影响，在 22 个图像分类基准测试中将 CLIP 的平均错误率从 30.17% 降低到 25.06%。

    Aug, 2023

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • 通过目标提示和视觉连贯性实现通用关联图像分割

    提出了一种新的参考图像分割方法，通过增加明确关键提示和多模态融合聚合模块，提高了其泛化能力和处理未见过的场景的能力。

    Dec, 2023

  • RadCLIP：通过对比语言 - 图像预训练增强放射学图像分析

    人工智能与放射学的整合标志着医学诊断的一个转型时代，采用视觉基础模型改进放射学图像分析，引入 RadCLIP 用于优化放射学图像分析，包括创新的三维切片池化机制和多样的放射学图像 - 文本数据集，评估结果显示 RadCLIP 可以有效对齐放射学图像与对应的文本标注，并提供强大的视觉支持。

    Mar, 2024

  • 全局 - 局部文脈特徵的零样本指称图像分割

    本文提出一种利用预训练的跨模态知识来进行零样本指代图像分割方法，在实验中，该方法优于其他零样本基线和弱监督提及表达式分割方法。

    Mar, 2023

  • 融合与校准：一种双向的视觉语言引导的用于指代图像分割的框架

    本文介绍了 FCNet（一个使用双向引导融合方法的框架），其中视觉和语言在引导角色中相互作用，旨在解决自然语言描述与像素级细节之间的关联问题，并通过在多模态特征上进行初始融合和进一步校准，提高多模态特征的质量。实验结果表明，我们的方法在多个数据集上优于现有最先进算法。

    May, 2024

  • 借助图像 - 语言相似性的重新打分方法用于小样本目标检测

    利用 Contrastive Language-Image Pre-training (CLIP) 和 hard negative classification loss，在少数据环境下通过 Re-scoring using Image-language Similarity for Few-shot object detection (RISF) 方法提升了 few-shot 目标检测性能。

    Nov, 2023

  • 无需进一步训练即可将 CLIP 用于短语定位

    利用对比语言 - 视觉模型 CLIP，我们可以实现无需人工注释或额外训练的短语定位方法，其零样本短语定位性能优于现有无训练方法，并在某些情况下甚至超过了有监督的方法。

    Apr, 2022