本文介绍了一种使用未标记的图像集合和大型语言模型自动生成标签,并通过这种非监督方式实现了零样本分类器性能的显著提高的方法。与传统的监督训练方法相比,在多个数据集上的绝对提升高达 11.7%(平均 3.8%),而与一些少样本提示基线相比的平均增益为 1.3%。
May, 2023
该研究提出了一种模型,即使没有针对该对象的训练数据,也能在图像中识别对象,并从无监督的大型文本语料库中获取对未知类别的必要知识,在语言中的分布式信息可以被视为理解物体外观的语义基础。
Jan, 2013
本文提出了一种针对图像翻译的无监督学习模型,TUNIT,该模型可以在没有成对数据或领域标签的情况下进行图像 - 图像翻译,同时在各种数据集上表现出可比甚至更好的性能。此外,该模型还可以轻松扩展到半监督学习。
Jun, 2020
本文提出了一种利用目标领域丰富的无标注数据改进已预训练的零样本分类器的无监督微调方法 Masked Unsupervised Self-Training(MUST)并在各种下游任务上证明了其有效性,包括在 ImageNet 上使用 ViT-B 的准确率高达 77.7%,比 CLIP 高 9.4%,比 16-shot CLIP 适应高 6.2%。
Jun, 2022
无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换
Nov, 2023
利用多个文本来源和语义部分注释来提供更强的监督辅助信息,达到零样本识别和检索的目标。
Mar, 2016
通过使用视觉和语言数据,利用无监督任务发现学习一个任务特定的视觉分类器,并将其转移到视觉问答模型中作为答案单元,以解决视觉问题中的词汇表外问题,并通过从视觉数据转移的知识成功推广以应对此问题。
Oct, 2018
通过预测图像与文本配对来预训练计算机视觉系统,使其可以从自然语言描述中直接学习视觉概念,从而实现零样本迁移,并在多个计算机视觉任务上展现出竞争力。
Feb, 2021
该文章探讨了零标签学习在自然语言处理中的应用,介绍了基于预训练语言模型的一种新方法 Unsupervised Data Generation,能够生成高质量的训练数据,无需人工标注。该方法使得用不带标签的数据训练具体任务的模型成为可能,并且当与带标签的数据混合使用时,能实现高效的数据增强,并达到了 SuperGLUE 基准测试的新最优结果。
Sep, 2021
通过引入 ZeroG,一种新的框架,我们扩展了这种零样本迁移学习范式到图领域,以实现数据集间的泛化,减少特征不对齐、标签空间不匹配和负迁移等固有挑战,并通过使用语言模型对节点属性和类别语义进行编码,以确保数据集间的一致特征维度,并通过基于提示的子图采样模块丰富提取的子图的语义信息和结构信息,进一步采用轻量级微调策略降低过拟合风险,并保持语言模型的零样本学习能力。结果显示我们的模型在实现显著的跨数据集零样本迁移能力方面非常有效,为图基础模型的发展开辟了新的路径。特别地,ZeroG 作为一种零样本方法,甚至能在 Pubmed 上实现可与半监督学习相媲美的结果。
Feb, 2024