利用伪示例优化从头开始的小样本神经网络学习

Feb, 2018

利用伪示例优化从头开始的小样本神经网络学习

Few-shot learning of neural networks from scratch by pseudo example optimization

Akisato Kimura, Zoubin Ghahramani, Koh Takeuchi, Tomoharu Iwata, Naonori Ueda

TL;DR该论文提出了一种利用知识蒸馏的方法来训练具有有限训练数据的神经网络的技术，该方法引入了一些新的 pseudo training examples，通过这些伪样本更好地优化了模型参数。实验结果表明，与传统的基线和知识蒸馏方法相比，该方法表现出更好的性能。

Abstract

In this paper, we propose a simple but effective method for training neural networks with a limited amount of training data. Our approach inherits the idea of knowledge distillation that transfers knowledge from

neural networks training data knowledge distillation estimators overfitting

发现论文，激发创造

少样本类别增量语义分割：伪标记和知识蒸馏

我们提出了一种从少量样本中学习语义分割模型的新类别的方法，通过伪标签策略进行扩充，通过知识提取能够保留现有类别的知识。

Aug, 2023

深度网络中的零样本知识蒸馏

本文提出了零数据知识迁移的方法，通过自动生成 Data Impressions 从而实现了基于 Teacher 模型的知识迁移，不需要获取原始数据，具有实用性和良好的泛化能力。

May, 2019

渐进式网络嫁接用于少样本知识蒸馏

本文介绍一种用于少样本知识蒸馏的双阶段方法，该方法仅使用了少量无标注样本，能够有效降低深度神经网络的模型复杂度和大小，实现了与传统方法相当的性能表现。

Dec, 2020

自监督知识蒸馏用于少样本学习

该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

Jun, 2020

跟随自己的道路：一种渐进式的知识蒸馏方法

本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。

Jul, 2021

数据集压缩

本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明

Nov, 2018

自我知识蒸馏与渐进式目标细化

该文介绍了一种称为渐进式自我知识蒸馏的有效规则化方法，适用于任何具有硬目标的监督学习任务，可以提高模型的泛化性能和置信度预测，并取得了优于基准的实验结果。

Jun, 2020

黑盒少样本知识蒸馏

本文提出了一种黑盒少样本知识蒸馏方法，使用 MixUp 和条件变分自编码器生成多样的合成图像进行训练，显著优于最新 SOTA 的少 / 零样本 KD 方法用于图像分类任务。

Jul, 2022

数据剪枝中的知识提取

通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

Mar, 2024

神经网络知识蒸馏

通过将一个 ensemble 中的知识压缩成单个模型的方法，我们可以显著提高基于 MNIST 数据集的模型性能并将这种方法应用于商业系统的声学模型，同时我们还提出了一种由专家模型和完整模型组成的新型 ensemble。

Mar, 2015