May, 2021

将视觉原型与 BERT 嵌入对齐，用于少样本学习

PDF
TL;DR提出了一种考虑图像类别名称的少样本学习方法，利用 BERT 模型学习类别名称嵌入来分离视觉和文本特征，同时采用跨语言词向量对高维度 Bert 嵌入进行处理，实验结果表明该方法在少样本图像分类任务上取得了领先水平。
发现论文，激发创造
  • 多方位原型的少样本图像分类

    本文提出了一种基于 facets 的自适应相似性度量方法，该方法可以被用于改进现有的基于度量的 few-shot learning 模型，并在 miniImageNet 和 CUB 数据集上实现了 state-of-the-art 的表现。

    Feb, 2021

  • 视觉 - 语义对比对齐在小样本图像分类中的应用

    本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

    Oct, 2022

  • 生成少样本分类的代表性样本

    基于条件变分自编码器模型，使用语义嵌入生成视觉样本，通过训练生成具有代表性的样本来改善数据稀缺性问题，提升 few-shot 分类效果，实验结果表明我们提出的方法在 1-shot 和 5-shot 设置下在 miniImageNet 和 tieredImageNet 数据集上实现了最先进的性能。

    May, 2022

  • 利用词向量引导的注意力推断多标签少样本图像分类的原型

    本文提出了一种使用词嵌入作为多标签图像分类问题的先验知识的解决方案，在少量训练数据的情况下，通过聚合支持图像的本地特征图来获取视觉原型，并通过注意力机制基于标签嵌入来确定相关区域，其在 COCO 和 PASCAL VOC 实验中均优于现有最新成果。

    Dec, 2021

  • ProtoGAN：面向行为识别的少样本学习

    本文提出了一个新的 ProtoGAN 框架来合成额外的样例，以便在少样本学习 (FSL) 背景下的新动作识别和通用 FSL (G-FSL) 的环境下对已知和新的动作类别进行识别，并在 UCF101、HMDB51 和 Olympic-Sports 数据集上进行了大量实验以支持我们的结果。我们通过使用一个类原型传输网络（CPTN）从已知类别的示例中学习类原型向量来生成新的样例，并成功地展示了模型在识别新类别方面的更好表现。

    Sep, 2019

  • 丰富的语义改善少样本学习

    利用少量的『类别级别』的语言描述，结合视觉特征分形成一个瓶颈视觉特征 (混合原型) 并建立一种 Transformer 机制，以编码这两种形式的丰富语义，并且经过多个数据集的实验证明，该算法能有效提升 few-shot learning 的性能。

    Apr, 2021

  • FILM: 少样本图像分类如何从预训练语言模型中受益？

    本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

    Jul, 2023

  • 受限 Few-Shot 学习：类人低样本复杂度学习和非情节文本分类

    本文提出了一种新的任务：约束的少样本学习（CFSL），介绍了一种基于 Cat2Vec 的 CFSL 方法，该方法使用类别对比损失，并受到模糊痕迹理论和原型理论等认知理论的启发。

    Aug, 2022

  • 简单语义辅助的少样本学习

    利用少量数据进行学习是一项具有挑战性的计算机视觉任务，本文通过引入高质量的语义以及使用简单的网络结构，设计了一个名为 “语义进化” 的自动化方式来解决少样本学习中的问题，实验证明该方法在少样本分类任务中表现优异。

    Nov, 2023

  • 小样本图像识别的语义提示

    该研究提出了一种基于语义提示的适应性视觉特征提取方法，通过在空间和通道维度插入语义提示来提高视觉特征提取器的处理能力，从而在极少量的支持样本下，实现更好的类别特定特征捕捉和更广泛的图像表示。

    Mar, 2023