ICLRApr, 2024

没有指数数据就没有 “零样本”：预训练概念频率决定多模态模型性能

PDF
TL;DR多模态模型的 “零样本” 泛化能力在大规模训练范式下面临指数级的数据需求，其性能受预训练数据集中概念频率的影响，并对长尾数据表现较差。
zero-shotmultimodal modelspretraining datasetsdownstream conceptslong-tailed data
发现论文，激发创造
  • 多模态基础模型的零样本鲁棒性基准测试：一项试点研究

    基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。

    Mar, 2024

  • UniBoost: 无监督单模态预训练来提升零样本视觉语言任务能力

    使用大规模非监督单模型预训练可以提高图像 - 文本匹配的零样本性能和模型理解图像和文本关系的能力

    Jun, 2023

  • 多模态基础模型的小样本自适应：综述

    多模态模型的少样本适应方法在医学成像等领域仍有待提高，研究者提出了基于提示、适配器和外部知识的三种技术方法，本论文对这些方法进行了综述及对比，并推导出了多模态模型少样本适应的泛化误差界限及相应解决方案。

    Jan, 2024

  • 零样本跨语言图像检索

    该论文介绍了一种使用跨语言预训练进行零 - shot 学习的多模式语言和视觉问题解决方法，它可以用于构建跨语言图像检索模型和改进文本嵌入聚类，并在多语言环境下进行评估。

    Nov, 2020

  • 零样本跨语言图像检索与标记

    本论文探讨采用跨语言预训练的零样本方法来学习多模态表示，提出建立跨语言图像检索模型的简单实用方法，并引入了一种新的目标函数来测试多语言 MSCOCO2014 字幕测试数据集（XTD10）的零样本模型性能，证明跨语言模型可用于零样本的下游任务， 如多语言图像标记。

    Sep, 2021

  • 零样本文本分类的标签无关预训练

    本文旨在探究利用两种新的有效的预训练策略（Implicit 和 Explicit pre-training）来改善 PLMs 在不同方面与领域的数据上泛化能力，特别是在零样本情况下进行文本分类的任务。作者通过引入 UTCD 数据集进行评估，证明了该方法在一系列零样本范式的挑战数据集上实现了更好的泛化能力。

    May, 2023

  • 多模态原型网络用于少样本学习

    该论文提出了一种跨模态特征生成框架，利用文本数据来弥补计算机视觉任务中数据稀缺的不足，进而提高分类结果，并在实验中证明该方法的有效性。

    Nov, 2020

  • 使用预训练大型多模态模型的音频视觉广义零样本学习

    利用预训练模型，包括 CLIP 和 CLAP 提取特征，结合文本编码嵌入以提高性能，我们提出了一个仅依赖前馈神经网络的简单而有效的模型来处理音频视觉的零样本学习，并在 VGGSound-GZSL、UCF-GZSL 和 ActivityNet-GZSL 等数据集上取得了最先进的性能。

    Apr, 2024

  • 少即是多：多模态少样本学习的深入研究

    为了解决深度学习中少样本学习的挑战，我们提出了一个简单而有效的框架，专门设计用于利用文本信息和语言模型，通过学习可调的提示来显式地利用预训练的语言模型的零样本能力，并且直接将视觉特征和文本特征进行推断而无需复杂设计的融合模块，进一步运用自集成和蒸馏来增强这些组件，在四个广泛使用的少样本数据集上进行了大量实验证明我们的简单框架取得了令人印象深刻的结果，特别值得注意的是，在 1-shot 学习任务中，我们的分类准确率平均超过基准方法 3.0%。

    Jan, 2024

  • 少即是多：预训练模型在少样本任务中的特征冗余

    使用预训练模型进行线性探测，当下游数据稀缺或少样本时，预训练特征可能是非常冗余的；而在少样本任务中，只使用最重要的特征维度的 1% 就能恢复与使用完整特征表示所达到的性能。根据理论分析，高方差和类中心之间距离较小的特征维度可能是影响少样本转移问题分类结果的混淆因素。通过调整特征重要性的软掩码来改善特征冗余问题，可以在各种预训练模型和下游数据集中提高少样本转移性能。

    Oct, 2023