Oct, 2017

正则化深度网络的高效 K-Shot 学习

PDF
TL;DR为了解决小规模数据下优化问题，我们提出了一种对预训练深度神经网络进行微调的简单而有效的正则化方法，它的核心策略是将模型参数聚类，确保聚类内的相似性和聚类间的差异性，提高参数搜索空间的正规性； 具体而言，我们使用强化学习搜索策略和递归网络来学习每个网络层的最优分组，实验结果表明，相较於其他最新的基于微调的 k-shot 学习策略，我们的方法可以轻松应用于几种流行的卷积神经网络，提高了 10% 以上的性能。
pre-trained deep neural networksfine-tuningregularizationk-shot learningneuron grouping
发现论文，激发创造
  • 重新审视调整微调策略以用于少样本学习

    该研究证明，在 mini-ImageNet 数据集中，fine-tuning 方法在 1-shot 任务中比常见的 few-shot learning 算法具有更高的准确性，在 5-shot 任务中准确率几乎与最先进的算法相同，同时展示了在高分辨率单领域和跨领域任务中，该方法比常见 few-shot learning 算法具有更高的准确性。

    Oct, 2019

  • 神经网络微调的改进正则化和鲁棒性

    通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

    Nov, 2021

  • 一次参数训练，多任务学习与迁移学习

    本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

    Oct, 2018

  • 为少样本学习设计的实例和任务感知动态核学习

    本论文提出了一种动态卷积神经网络模型，能够通过每个任务的动态内核快速适应于给定任务的情境，并以整体和每个样本的基础上依独立地进一步调整每个通道和位置的注意力机制，从而能够同时关注全局信息和细微的特征并提高 Few-Shot Learning 的性能。在四个 Few-Shot 分类基准: mini-ImageNet、tiered-ImageNet、CUB 以及 FC100 中，以及一个 Few-Shot 检测数据集: MS COCO-PASCAL-VOC 中，得到了比基准模型更显著的成绩。

    Dec, 2021

  • 基于概率模型的有区分性 k-shot 学习

    本文介绍了一种概率框架来进行 k-shot 图像分类。该方法将从初始大规模分类任务中学习的表示转移并结合了关于类别的信息，用于建立后验概率模型进行 k-shot 学习，结果表明即使是简单的概率模型也能取得与当前最先进算法相当的识别率，并能够准确建模不确定性。

    Jun, 2017

  • 基于距离的深度网络正则化 Fine-Tuning

    本文介绍了一种基于权重移动距离的神经网络泛化界定方法，提出了一种基于传递学习的初始权重的微调算法，通过在半径较小的搜索空间内限制假设类来实现更好的泛化性能，并且通过实验证实了该算法的有效性和优越性。

    Feb, 2020

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • HyperShot: 基于核超网络的少样本学习

    本文提出了 HyperShot—— 一种融合内核和超网络范例的高效 few-shot 学习方法，它利用超网络从支持的数据中返回算法分类器手工制作的参数，并通过内核表示支持数据的关系来适应高度不同的任务。

    Mar, 2022

  • Fine-Pruning：卷积网络的联合微调和压缩与贝叶斯优化

    本研究提出了一种基于卷积神经网络的精调和压缩方法，旨在同时克服细调和修剪在参数空间上的问题，实验结果显示该方法在两个特殊图像领域有效。

    Jul, 2017

  • 部分优于全部：重温少样本学习的微调策略

    本文提出了一种针对 few-shot learning 中使用的分类器训练，通过在基础模型中冻结或微调特定层以转移部分知识来提高性能，并引入基于进化搜索的方法以自动化此选择过程，以得到在 CUB 和 mini-ImageNet 中具有最先进表现的该方法。

    Feb, 2021