- LPN:语言引导原型网络用于小样本分类
本文提出了一种基于语言引导的原型网络 (LPN),通过引入语言模态和计算视觉特征向量之间的相似性,从而改进了少样本分类任务。实验结果表明,该方法在基准数据集上具有与最先进方法相当的竞争力。
- 高效学习新视觉概念
本文提出一种新的方法 —— 在最先进的识别模型中加入符号知识图谱,从而提高了模型的识别新物体的准确性。实验结果表明,与现有的少样本分类器相比,该方法的性能更好。
- IJCAI利用多阶统计量的集成学习进行小样本分类
本文提出了一种叫做 Ensemble Learning with Multi-Order Statistics(ELMOS)的基于集成学习的方法,该方法使用了多个分支来创建单个学习器,并在每个分支中引入不同的顺序统计池以增加个体学习器的多样 - 面向任务自适应的伪标签跨领域元学习
本文提出了一种基于任务自适应伪标记的跨领域学习方法,通过标签传播从有标记的 support 集生成伪标签,进而有效地利用未标记的 query 集,相比归纳式学习方法,该方法在适应过程中能处理更多示例,从而提高模型的分类性能,实验证明该方法优 - 聚类补丁元素连接在少样本学习中的应用
研究了少样本分类任务中的弱特征表示问题,提出了一种新的 Clustered-patch Element Connection(CEC)层来解决这个问题,并使用 CECNet 在分类基准上取得了最先进的性能。
- 多视图视觉提示融合网络:2D 预训练模型能否增强 3D 点云数据稀缺学习?
本研究提出了一个新的多视图视觉提示融合网络 (MvNet),通过利用现成的 2D 预训练模型实现 few-shot 3D 点云分类,实现了 3D few-shot 点云图像分类的最新性能。
- 参数效率少样本微调的强基线
本文通过一系列超过 1.8k 个控制实验,对少样本图像分类的 PEFT(参数效率微调)方法进行了大规模、实验一致的经验分析,发现只微调层归一化参数及学习一组每个注意力矩阵的缩放参数的方法,成为 Vision Transformer 预训练模 - 有监督的遮蔽知识蒸馏用于小样本变压器
本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD),将标签信息融入到自我蒸馏框架中,通过在类和图块标记上进行内部类知识蒸馏,并引入在类内图像中对屏蔽图块标记重构的挑战性任务,我们比以前的自我监督方法实现了更好的结果,实验结果显示,我们的 - 基于 Fisher 信息的证据深度学习的不确定性估计
提出了一种基于 Fisher Information-based 的 Evidential Deep Learning 方法,该方法通过测量样本携带的信息量动态地重新加权目标损失项,使网络更专注于不确定类别的表示学习,在多个数据不确定性评估 - ICLR无监督元学习:基于少量伪有监督对比学习
本研究提出了一种名为 “Pseudo-supervised Contrast (PsCo)” 的无监督元学习框架,可以在少样本分类任务中改进伪标签并以渐进方式构建多样化的任务,实验证明该框架在各种领域和跨领域的少样本分类基准测试中表现优异。
- PromptBoosting: 带有十次前向传递的黑盒文本分类
本文提出了 PromptBoosting,一种由神经语言模型(LM)构建文本分类器的高效查询过程,其通过无梯度、无隐藏表示获取 LM 分类器的表现。该方法在黑盒分类器训练中越来越重要,并通过梯度自由方法获得一小组提示,并将其与 LM 输出分 - 预训练模型合作提高 Few-shot 学习性能
本文提出 CoMo 模型,利用预训练模型中的知识嵌入到 few-shot 分类中,包括 CLIP 的语言对比知识、DINO 的视觉对比知识和 DALL-E 的语言生成知识,通过学习多种知识方法,本文展示了在 11 个数据集上的优越性和泛化能 - Active PETs: 利用 Pattern Exploiting 训练进行少样本论断验证的主动数据标注优先性
提出 Active PETs 方法,利用多种语言模型的 Pattern Exploiting Training 模型的集成来主动选择未标记数据作为标注候选数据。在使用六个不同的预训练语言模型和两个技术事实验证数据集的 few-shot 数据 - ECCVTip-Adapter: 无需训练的适应 CLIP 用于少样本分类
本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter,来有效地增强 Contrastive Vision-Language Pre-training(CLIP)的适应能力,为少样本学习提供了一个计算资源高效的选择 - FewSOL: 机器人环境中的小样本目标学习数据集
介绍了 Few-Shot Object Learning (FewSOL) 数据集,用于针对每个物体进行少量图像识别,研究结果表明目前机器人环境下还有一定提升空间,适用于研究分类、检测、分割、形状重构、姿态估计、关键点对应和属性识别等少量图 - EMNLPRLPrompt:使用强化学习优化离散文本提示
该论文提出了一种基于强化学习的离散提示优化方法(RLPrompt),旨在有效地生成适合不同类型的预训练语言模型使用的离散提示,并在极少量的下游数据情况下表现出优异的表现。
- 语言模型 Few-shot 学习的基准校准
本文提出了原型校准方法,用于零样本和少样本分类中自适应地学习更健壮的决策边界,以替代贪婪解码。实验结果表明,原型校准在各种任务中都有显著的提高,从而极大地提高了 GPT 对不同模板、排列和类别不平衡的鲁棒性。
- EMNLP预训练语言模型在长尾学习中的应用
通过实证研究,发现 prompt-tuning 可以成为良好的 long-tailed 学习器,并探究了该方法背后的关键因素是分类器结构和参数化,而非输入结构。该结果也适用于 few-shot 分类任务。
- CVPR生成少样本分类的代表性样本
基于条件变分自编码器模型,使用语义嵌入生成视觉样本,通过训练生成具有代表性的样本来改善数据稀缺性问题,提升 few-shot 分类效果,实验结果表明我们提出的方法在 1-shot 和 5-shot 设置下在 miniImageNet 和 t - CVPR联合分布至关重要:用深度布朗运动距离协方差进行小样本分类
该研究提出了一种深层布朗运动距离协方差(DeepBDC)方法来解决少样本分类问题,其关键思想是通过测量嵌入特征的联合特征函数与边缘特征的乘积之间的差异来学习图像表示,实验表明 DeepBDC 显着优于同类方法,创造了新的最先进结果。