BECLR: 批量增强对比式少样本学习

Feb, 2024

BECLR: Batch Enhanced Contrastive Few-Shot Learning

Stylianos Poulakakis-Daktylidis, Hadi Jamali-Rad

TL;DR用于无监督少样本学习的动态聚类内存模块(DyCE)和基于优化传输的分布对齐策略(OpTA)构成的全新端到端方法(BECLR)，在现有的无监督少样本学习基准中取得了新的最优表现，明显优于当前最佳基准。

Abstract

Learning quickly from very few labeled samples is a fundamental attribute that separates machines and humans in the era of deep representation learning. unsupervised few-shot learning (U-FSL) aspires to bridge this gap by discarding the reliance on annotations at training time. Intrigu

发现论文，激发创造

视觉表示对比学习的简单框架

SimCLR是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在ImageNet数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

利用可学习视角对比学习提升少样本分类

通过引入对比损失和学习算法，本研究提升了少样本分类任务中的细分子类别鉴别能力，实现了在嵌入空间中的潜在细粒度结构学习，并通过在标准小样本学习基准测试中的广泛试验验证了该方法的优越性。

Jul, 2021

Few-Max: 无监督对比表示学习的少样本领域自适应

本文提出了一种面向Few-Shot自监督对比学习的域自适应方法Few-Max，旨在解决在目标分布下自适应问题。使用各种来源和目标数据集对Few-Max进行了评估，证明其在表示质量方面始终优于其他方法。

Jun, 2022

对比学习的少样本分类

本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

Sep, 2022

预训练模型合作提高Few-shot学习性能

本文提出 CoMo 模型，利用预训练模型中的知识嵌入到 few-shot 分类中，包括 CLIP 的语言对比知识、DINO 的视觉对比知识和 DALL-E 的语言生成知识，通过学习多种知识方法，本文展示了在 11 个数据集上的优越性和泛化能力。

Sep, 2022

视觉-语义对比对齐在小样本图像分类中的应用

本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

Oct, 2022

基于语义感知的虚拟对比约束学习：适用于小样本类递增学习的方法

通过引入虚拟类别的概念，我们提出了一种基于语义感知的虚拟对比模型（SAVC），显著提高了基础类别的分类效果和新类别的泛化能力。

Apr, 2023

针对小样本类增量学习的平衡监督对比学习

本文提出了一种简单有效的学习方案，来解决few-shot class-incremental learning中平衡新任务的欠拟合和遗忘之前任务的挑战，并在CUB200、CIFAR100和miniImagenet数据集上展现了领先的性能。

May, 2023

BatchSampler: 用于视觉、语言和图形对比学习的小批量采样器

本文提出了BatchSampler技术，通过从输入数据中采样mini-batches，从而改进对比学习，实验表明，BatchSampler能够一直提高强大的对比模型的性能。

Jun, 2023

MICM：重新思考无监督预训练以增强少样本学习

本研究解决了当前机器学习系统在少量标记样本下快速学习的不足，通过量化评估Masked Image Modeling（MIM）和Contrastive Learning（CL）在少样本学习任务中的影响。提出了新的Masked Image Contrastive Modeling（MICM）范式，将CL的目标对象学习优势与MIM的通用视觉特征学习能力结合，显著提升了少样本学习的效果，并在实验中显示出优于现有基准的方法。

Aug, 2024