Dec, 2023

CLIM：用于区域表示的对比性语言 - 图像拼贴

PDF
TL;DR通过大规模的图像 - 文本对，借助 CLIM 方法实现区域与文本表示的对齐，改进开放词汇物体检测方法并加强视觉 - 语言模型的区域表示，提供更强实力的骨干，实验结果表明 CLIM 在 OV-COCO 和 OV-LVIS 基准上极大改进不同的基线系统。
vision-language alignmentregion-text alignmentimage-text pairsopen-vocabulary object detectionclim
发现论文，激发创造
  • RegionCLIP: 基于区域的语言 - 图像预训练

    RegionCLIP 是一种新的方法，扩展了 CLIP 模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021

  • 弱监督语义分割的跨语言图像匹配

    本文提出了一种基于 CLIP 模型的跨语言图像匹配框架 CLIMS，通过自然语言监督以激活更合理的物体区域和抑制相关的背景区域，并使用一组预定义的类相关背景文本描述来防止模型激活相关背景区域，在 PASCAL VOC2012 数据集上进行了充分的实验，该方法明显优于之前的最先进方法。

    Mar, 2022

  • DetCLIPv2: 通过词区对齐实现可伸缩的开放式目标检测预训练

    本文介绍了一种名为 DetCLIPv2 的训练框架，该框架采用大规模图像 - 文本对以实现开放词汇目标检测。DetCLIPv2 直接从海量图像 - 文本对中学习了细粒度的单词 - 区域对齐，并通过融合来自检测、定位和图像 - 文本对数据的混合监督进行训练。DetCLIPv2 采用交替方案和低分辨率输入有效地利用了图像 - 文本对数据，取得了超过之前工作的表现。

    Apr, 2023

  • ProGEO：通过图像 - 文本对比学习生成提示，用于视觉地理定位

    使用 CLIP 和对比学习方法提高视觉地理定位中的视觉性能，并解决使用多模态模型处理地理图像时所面临的挑战。

    Jun, 2024

  • RegionCL：简单区域交换是否有助于对比学习？

    本文针对自我监督学习方法中图片裁剪技术的局限提出了一种叫做区域对比学习的新预处理方法，其通过最大程度利用所裁剪出的画面和其余部分来提高视觉表示的表现，并在 ImageNet，MS COCO 和 Cityscapes 等数据集上实现了最先进性能的效果。

    Nov, 2021

  • CyCLIP: 循环对比语言 - 图像预训练

    介绍了一种改进的对比表示学习框架 CyCLIP，通过显式对图像和文本空间的几何一致性进行优化，提高了模型的一致性和表现在零样本分类和分布不变性方面。在标准基准测试中，与 CLIP 相比，零样本分类准确率和对自然分布变化的鲁棒性分别提高了 10%-24% 和 10%-27%。

    May, 2022

  • 通过对比学习和最大化互信息实现跨领域情感分类

    本文提出对比学习方法 CLIM，采用互信息最大化来探索跨领域情感分类的潜力，进一步提高模型的鲁棒性和效率。

    Oct, 2020

  • 图像 - 文本 - 标签空间统一的对比学习

    该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

    Apr, 2022

  • 无需进一步训练即可将 CLIP 用于短语定位

    利用对比语言 - 视觉模型 CLIP，我们可以实现无需人工注释或额外训练的短语定位方法，其零样本短语定位性能优于现有无训练方法，并在某些情况下甚至超过了有监督的方法。

    Apr, 2022

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022