CVPRMay, 2024

无监督图像先验：通过提示学习和 CLIP 语义指导进行低光图像增强

PDF
TL;DR当前，低光条件给机器认知带来了重大挑战。本文提出了一种利用零参考低光增强方法改善下游任务模型性能的策略，通过利用丰富的视觉 - 语言 CLIP 先验来改进零参考低光增强方法，避免了对配对或非配对正常光数据的收集工作，并证明了不需要正常光数据的学习提示可以改善图像对比度，减少过度增强和噪声过放大。另外，通过零样本开放式词汇分类利用 CLIP 模型进行语义指导，优化低光增强以提高任务性能而非人类视觉感知。通过大量实验结果显示，所提出的方法在各种数据集上都取得了一致的改进效果，并将其与最先进的方法进行比较，展示了在各种低光数据集上的有利结果。
low-light conditionszero-reference low-light enhancementclip priortask-based performancelow-light datasets
发现论文，激发创造
  • 视觉语言模型的无监督提示学习

    本文提出了一种无监督提示学习（UPL）方法，以避免提示工程并同时提高类似 CLIP 的视觉语言模型的传递性能。该方法实验结果显示，在 ImageNet 以及其他 10 个数据集上，与原始 CLIP 相比，UPL 具有更优秀的传输表现，并且增强版的 UPL 在大多数数据集上甚至能够与 8-shot CoOp 和 8-shot TIP-Adapter 竞争。

    Apr, 2022

  • CLIP 引导的图像感知式提示学习用于图像增强

    通过结合 CLIP 模型和相对简单的基线方法，我们提出了一种称为 CLIP-LUT 的简单结构，用于图像增强，并证明该方法能够获得令人满意的结果。

    Nov, 2023

  • 语义引导的零样本低光图像 / 视频增强

    本文提出了一种基于语义引导的零样本低光增强网络，用于低光图像的实时检测和分割，并在基准数据集和低光视频上进行了广泛的实验，表明该模型优于先前的最新技术水平。

    Oct, 2021

  • 使用 CLIP 增强 CLIP：探索有限标签提示微调的伪标签方法

    研究使用 CLIP 中的零样本伪标签作为监督来增强视觉 - 语言模型，发现半监督、零样本迁移和无监督学习可以视作优化相同损失函数的统一视图，进而开发出全面的跨学习范式适用的培训策略，同时找到未探索的提示调整策略可以通过迭代滴精细伪标签不断提高性能。

    Jun, 2023

  • Vita-CLIP: 基于多模态提示的视频和文本自适应 CLIP

    本文介绍了一种多模态提示学习方案，该方案在单一统一的训练下平衡了监督和零样本学习的表现，并提出了视觉和文本方面的提示方案，通过保持预训练的骨干网络冻结，在保留现有的通用表示的同时实现了最先进的零样本效果。

    Apr, 2023

  • 无需进一步训练即可将 CLIP 用于短语定位

    利用对比语言 - 视觉模型 CLIP，我们可以实现无需人工注释或额外训练的短语定位方法，其零样本短语定位性能优于现有无训练方法，并在某些情况下甚至超过了有监督的方法。

    Apr, 2022

  • CLIP 融合模型库专家：视觉增强的伪监督

    通过在 CLIP 训练中结合任务特定的视觉模型，利用伪标签来改进其视觉表示，该简单的设置在不妨碍现有性能的前提下，显著提高了不同视觉任务的效果。

    Oct, 2023

  • 基于典型对比学习的 CLIP 微调方法用于物体重新识别

    這項研究旨在將大規模預先訓練的視覺語言模型，如對比語言 - 圖像預訓練（CLIP），適應各種監督設置下物體再識別（Re-ID）的表現提升。在本研究中，我們首先分析了 CLIP-ReID 中 prompt learning 的作用並確認了其限制。基於我們的調查，我們提出了一種簡單而有效的方法，通過使用原型對比學習（PCL）損失直接微調 CLIP 的圖像編碼器，從而消除了 prompt learning 的需要。在人物和車輛 Re-ID 數據集上的實驗結果證明了我們的方法與 CLIP-ReID 的競爭力。此外，我們將基於 PCL 的 CLIP 微調方法擴展到無監督場景，達到了最新的表現。

    Oct, 2023

  • 利用 CLIP 重新思考少样本分割的先验信息生成

    通过将视觉与文本对齐能力作为先验表示，本研究提出了两种训练无关的先验信息生成策略，以更可靠的指导并增强模型的泛化能力。在 PASCAL-5i 和 COCO-20i 数据集上的实验证明我们的方法在少样本分割任务中取得了明显的改进，并达到了新的最先进性能。

    May, 2024

  • 仅使用文本监督在视觉 - 语言模型中学习提示

    本研究提出了一种使用仅文本数据学习通用提示的方法，通过将 LLL（large language models）中的上下文数据映射到学习到的提示中，实现了零样本转移，并在 4 个基准测试上进行了广泛评估。

    Jan, 2024