May, 2024

多模态元学习中使用条件批量归一化的辅助任务调节的限制

PDF
TL;DR多模态元学习中，通过语言表示来指导视觉学习的多模态架构被提出，但在两个流行的少样本分类基准上验证后发现改进效果不稳定且主要取决于桥连接网络的计算和参数引入。
few-shot learningcross-modal learningmulti-modal architecturelanguage representationsvision
发现论文，激发创造
  • 多模态帮助单模态：利用多模态模型进行跨模态少样本学习

    通过跨模态训练，结合视觉和语言信息，利用少量的训练样本和类名，建立了一个更好的狗狗分类器，并构建了第一个音视频少样本学习基准。

    Jan, 2023

  • 多模态原型网络用于少样本学习

    该论文提出了一种跨模态特征生成框架，利用文本数据来弥补计算机视觉任务中数据稀缺的不足，进而提高分类结果，并在实验中证明该方法的有效性。

    Nov, 2020

  • 少样本跨模态多任务多语种学习

    本文提出了一种用于多模态多任务学习的 few-shot 学习框架，采用预训练的视觉和语言模型，并通过任务特定的超网络和对比度微调来适应不同的场景，学习视觉推理、视觉问答和自然语言理解等重要任务。

    Feb, 2023

  • 自适应交叉模态少样本学习

    本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。

    Feb, 2019

  • 少即是多：多模态少样本学习的深入研究

    为了解决深度学习中少样本学习的挑战，我们提出了一个简单而有效的框架，专门设计用于利用文本信息和语言模型，通过学习可调的提示来显式地利用预训练的语言模型的零样本能力，并且直接将视觉特征和文本特征进行推断而无需复杂设计的融合模块，进一步运用自集成和蒸馏来增强这些组件，在四个广泛使用的少样本数据集上进行了大量实验证明我们的简单框架取得了令人印象深刻的结果，特别值得注意的是，在 1-shot 学习任务中，我们的分类准确率平均超过基准方法 3.0%。

    Jan, 2024

  • 使用冻结语言模型的多模式小样本学习

    通过对齐图像和标题数据，我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入，并使用预先训练的冻结语言模型来生成相应的标题，从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型，具有学习各种新任务的惊人能力，如用只有少数几个样例进行视觉问答，或者利用外部知识。

    Jun, 2021

  • 元模调制：学习变分特征层次结构，用于更少任务的少样本学习

    本文提出了一种名为 MetaModulation 的方法，在元训练过程中使用神经网络调制批量归一化参数，以提高元训练任务的密度，并通过改变不同层面的参数来增加任务的多样性，同时提出了利用变分 MetaModulation 学习变分特征层级的方法，能够考虑任务不确定性和生成更多样的任务，结果表明 MetaModulation 和其变分变体在四个 few-task meta-learning 基准测试中都优于现有技术。

    May, 2023

  • 多模态 CLIP 推理用于元 - 少样本图像分类

    结合 CLIP 的文本和图像编码器的多模态方法，在广泛采用的基准测试上超越了最先进的元少样学习模型，而无需额外训练。

    Mar, 2024

  • FILM: 少样本图像分类如何从预训练语言模型中受益？

    本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

    Jul, 2023

  • 少样本学习的交叉调制网络

    本文介绍了一种名为交叉调制网络的架构，可以利用特征调制机制在多个层次上实现支持示例和查询示例之间的交互，这种架构为少样本学习提供了一种新的方法。在 miniImageNet 的 5 路 1-shot 场景中，本文关键字提到的模型表现也达到最先进水平。

    Dec, 2018