更多尽于少：低数据情境下高效细粒度视觉识别

Jun, 2024

更多尽于少：低数据情境下高效细粒度视觉识别

Extract More from Less: Efficient Fine-Grained Visual Recognition in Low-Data Regimes

Dmitry Demidov, Abduragim Shtanchaev, Mihail Mihaylov, Mohammad Almansoori

TL;DR通过利用增强和蒸馏技术，AD-Net 框架通过自我蒸馏技术在增强样本上优化学习特征，减轻有害的过拟合，从而在弱数据条件下提高深度神经网络性能，相对于标准 ResNet-50 和最先进的低数据技术的 SOTA 接近者，我们的框架相对准确度最高可达到 45％和 27％，我们强调我们的方法在体系结构上是独立的，并且在推理时间上不增加任何额外成本。

Abstract

The emerging task of fine-grained image classification in low-data regimes assumes the presence of low inter-class variance and large intra-class variation along with a highly limited amount of training samples p

fine-grained image classification low-data regimes ad-net augmentation distillation

发现论文，激发创造

可学习的语义数据增强的细粒度识别

通过特征级别的数据增强和协方差预测网络，我们提出了一种改善细粒度图像识别的方法，可以有效区分细分类别，提高泛化性能。

Sep, 2023

学习对比自我蒸馏以进行面向有限样本的超细粒度视觉分类

在智能多媒体分析领域中，超细粒度视觉分类（Ultra-FGVC）在区分更大范畴内的复杂子范畴方面发挥着重要作用。本文提出 CSDNet，这是一个创新框架，通过有效探索对比学习和自我蒸馏来学习专为 Ultra-FGVC 任务设计的判别式表示。CSDNet 包括三个主要模块：子范畴特定的差异解析（SSDP）、动态差异学习（DDL）和子范畴特定的差异传递（SSDT），共同增强深度模型在实例、特征和对数预测层面上的泛化能力。实验结果表明，CSDNet 优于当前最先进的 Ultra-FGVC 方法，强调了其在解决 Ultra-FGVC 任务中的强大效力和适应性。

Nov, 2023

跨级多实例蒸馏用于自监督精细视觉分类

通过多实例蒸馏在细粒度视觉表示中提出一个跨级多实例蒸馏框架以解决现有自我监督学习方法难以适应细粒度类别表示的问题，并在 CUB-200-2011、Stanford Cars 和 FGVC Aircraft 上的实验中展示出比同类方法高出至多 10.14％，比现有最先进的自我监督学习方法高出至多 19.78％的结果。

Jan, 2024

面向轻量级半监督语义分割的多粒度蒸馏方案

提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

Aug, 2022

详细强化扩散模型：少样本条件下的增强细粒度视觉分类

为了解决有限样本数据情况下对细粒度视觉识别任务的困难，我们提出了一种新的方法，称为细节增强扩散模型（DRDM），通过两个关键组成部分 —— 有辨别力的语义重组（DSR）和空间知识引用（SKR），有效地利用大型模型的知识来解决数据稀缺性问题，并在细粒度视觉识别任务中取得了改进的性能。

Sep, 2023

低样本图像生成的自适应特征插值

本文提出了一种新的潜在数据增强方法，利用无监督的学习方式在低数据量的情况下，针对生成模型中容易发散的问题进行了优化，实现了有效而稳定的训练，并生成了高质量的样本。实验结果显示，该方法在少样例学习生成任务中取得了很好的效果。

Dec, 2021

少样本在线异常检测和分割

该论文研究了在工业应用中从图像中检测异常模式的关键人工智能技术，提出了一种少样本在线异常检测和分割的框架，通过利用包含正常和异常样本的无标签数据来提高模型性能，使用神经气体网络对正常图像的特征分布进行建模，采用从预训练的 ImageNet 中提取的多尺度特征嵌入来获得鲁棒的表示，同时引入一种能够增量更新参数而无需存储先前样本的算法。实验结果表明，该方法在 FOADS 设置下能够取得显著的性能，并确保时间复杂度在可接受范围内。

Mar, 2024

DADA: 极低数据量分类的深度对抗数据增强

本文针对数据稀缺问题提出了一种基于生成式对抗网络的深度数据增广技术（DADA），该方法中新的判别器损失函数使得生成的数据样本能够帮助训练，并将 DADA 与传统增广、GAN 等方法比较实验证明，DADA 方法在实际情况中训练深度神经网络的泛化能力上具有更优越的能力.

Aug, 2018

无数据知识蒸馏用于细粒度视觉分类

我们提出了一种名为 DFKD-FGVC 的方法，它扩展了 DFKD 到细粒度视觉分类任务，使用了对抗蒸馏框架、注意力生成器、混合高阶注意力蒸馏和语义特征对比学习，以实现更好的性能表现。

Apr, 2024

使用有限数据训练生成对抗网络

本文提出一种自适应判别器增广机制，稳定有限数据中生成对抗网络的训练，无需改变损失函数或网络架构，适用于从头开始训练和调优现有 GAN 的情况，并在几个数据集上进行了实证分析，结果表明，仅使用少量的训练图像就可以获得好的结果，通常与 StyleGAN2 的结果相匹配，而使用的图像数量则少了一个数量级。此方法有望扩大 GAN 的应用领域，并发现 CIFAR-10 是一个有限数据基准，在此基础上改进了记录 FID（Fréchet Inception Distance) 由 5.59 到 2.42。

Jun, 2020