May, 2024

预训练的视觉语言模型作为部分注解器

PDF
TL;DR本研究探讨了一种新颖的 “预训练标注 - 弱监督学习” 范式，通过在图像分类任务中基于 CLIP 使用多个提示模板对图像样本进行标注，进而获得多个候选标签以形成含噪部分标签的数据集，并设计了一种协作一致性正则化算法来解决这个问题。实验表明，该方法在无需额外标签信息的情况下显著优于零样本推理，优于其他弱监督学习和少样本微调方法，并获得了更小的模型。
发现论文，激发创造
  • 循环中的语言模型：将提示融入弱监督

    本研究提出使用大型预训练语言模型进行弱监督学习的策略，并使用 Snorkel 系统去噪声标签，得到的训练数据可提高分类器的准确性，相比于零样本方法，错误率平均降低 19.5%。此外，该方法所得分类器的准确度相当或高于手动设置的规则。

    May, 2022

  • 为何视觉 - 语言模型的提示调整对噪声标签具有鲁棒性？

    视觉语言模型通过大规模训练数据学习了一种通用的文本 - 图像嵌入。通过少量样本的提示调整，可以将视觉语言模型适应到新的分类任务中。我们发现，这种提示调整过程对标签噪声非常稳健，且具有鲁棒性。

    Jul, 2023

  • 使用 CLIP 增强 CLIP：探索有限标签提示微调的伪标签方法

    研究使用 CLIP 中的零样本伪标签作为监督来增强视觉 - 语言模型，发现半监督、零样本迁移和无监督学习可以视作优化相同损失函数的统一视图，进而开发出全面的跨学习范式适用的培训策略，同时找到未探索的提示调整策略可以通过迭代滴精细伪标签不断提高性能。

    Jun, 2023

  • 弱监督提示学习下的低资源医学图像分类探索

    通过弱监督的提示学习方法 MedPrompt，自动生成医学提示并利用预训练的视觉 - 语言模型，在低资源情况下提升医学图像识别的性能和准确率。

    Feb, 2024

  • CLIP 融合模型库专家：视觉增强的伪监督

    通过在 CLIP 训练中结合任务特定的视觉模型，利用伪标签来改进其视觉表示，该简单的设置在不妨碍现有性能的前提下，显著提高了不同视觉任务的效果。

    Oct, 2023

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • 无监督的视觉与语言预训练：无需平行图像和文本

    通过无监督预训练实现视觉和语言模型的学习，使用 “mask-and-predict” 方法预训练文本和图像数据，并引入目标识别模型检测到的对象标签作为两种模式之间的桥梁，在四个英语视觉和语言基准测试中获得了接近于使用对齐数据预训练的模型的性能，挑战了对于 V&L 预训练来说，对齐数据是必要的广泛看法，并显著减少了 V&L 模型的监督所需量。

    Oct, 2020

  • 多样化和个性化的图像生成用于零 - shot 多标签分类

    通过生成合成数据，用于训练未见标签的分类器，本文介绍了一种用于零样本多标签分类的创新解决方案，包括使用大型语言模型生成多样的提示，使用 CLIP 模型进行图像筛选，以及使用特征融合模块来提高目标任务的视觉特征。实验结果验证了该方法的有效性，并显示出与现有方法相比的显著改进。

    Apr, 2024

  • 视觉语言模型的无监督提示学习

    本文提出了一种无监督提示学习（UPL）方法，以避免提示工程并同时提高类似 CLIP 的视觉语言模型的传递性能。该方法实验结果显示，在 ImageNet 以及其他 10 个数据集上，与原始 CLIP 相比，UPL 具有更优秀的传输表现，并且增强版的 UPL 在大多数数据集上甚至能够与 8-shot CoOp 和 8-shot TIP-Adapter 竞争。

    Apr, 2022

  • 在线众包注释中不充分和模糊监督问题缓解方向

    通过众包标注系统和基于伪标签和对比学习的新方法，解决了由于用户知识、文化背景差异和获得监督信息的高成本而导致的标注信息不充分和含糊不清的问题，实现了半监督部分标签学习的最先进表现。

    Oct, 2022