Sep, 2017

针对特定 MS COCO 类别微调深度 CNN 模型

HTML
PDF
TL;DR本文介绍了一个公开的 py-faster-rcnn-ft 软件库，它可以用于微调 VGG_CNN_M_1024 模型来识别 Microsoft COCO 数据集中的自定义图像子集，这种实现可以随机选择包含微调模型类别中至少一个对象的图像。
发现论文，激发创造
  • Fine-tuned CP分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 增加模型容量的微调：培育大脑

    通过对CNN进行fine-tuning，增加模型容量可以更自然的适应目标数据。同时，通过对比发现增加网络单元的增长方法在一些基准数据集中表现出色。

    Jul, 2019

  • 基于距离的深度网络正则化 Fine-Tuning

    本文介绍了一种基于权重移动距离的神经网络泛化界定方法，提出了一种基于传递学习的初始权重的微调算法，通过在半径较小的搜索空间内限制假设类来实现更好的泛化性能，并且通过实验证实了该算法的有效性和优越性。

    Feb, 2020

  • 重新审视微调的超参数

    该研究从实验评估中重新审视了微调的超参数几个通用实践，发现动态学习参数不是一个很好探索的参数；发现微调的最佳超参数不仅与数据集相关，还与源域和目标域的相似性敏感；发现参考基于的规则化方法可能不适用于“不相似”的数据集。这些结论挑战了微调的常见实践，并鼓励深度学习从业者重新思考微调的超参数。

    Feb, 2020

  • 一种用于最小化功夫迁移学习的灵活选择方案

    本文提出了一种新的、称为弹性调整的fine-tuning方式，可以用于处理不同于预训练源的、但与其语义相近的实际数据。通过实验证明，相较于传统做法，在许多领域转移情况中调整中间或早期单元的效果更好。

    Aug, 2020

  • LQF：线性二次调优

    本文介绍了一种名为LQF的线性优化模型，使用Leaky-ReLU激活函数、平均平方误差损失函数和Kronecker矩阵分解的预处理方式，使得该模型在大多数实际图像分类任务中具有与非线性优化方法相当的性能，且具有线性模型的可解释性和鲁棒性。

    Dec, 2020

  • 视觉Transformer的参数高效模型适应

    本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的20个图像分类数据集和全样本下的7个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

    Mar, 2022

  • 基于核方法的语言模型微调视角

    通过对14个NLP任务的实验验证，我们探究了采用NTK对预训练语言模型进行fine-tuning的机制和条件，并提出了一个基于NTK的解释，解释了参数高效子空间fine-tuning方法的成功原因。

    Oct, 2022

  • 如何使用SGD微调视觉模型

    比较了在视觉Transformer和ConvNeXt模型微调时，SGD和AdamW两种最常用的优化器的表现，发现当微调梯度在第一个embedding层中远大于其余模型时，使用AdamW可以比SGD取得更好的表现，但是冻结这个层以后，SGD的表现可以达到和AdamW相当甚至更优秀，也能节省更多的内存。这一结论在五种区分性偏移测试中都获得了最佳表现。

    Nov, 2022

  • 部分微调：视觉Transformer的一种替代方案

    局部微调可以同时提高效率和准确性，选取适合的层对局部微调至关重要。通过引入新的微调角度度量，可以灵活适应各种场景用于更实用的局部微调，同时提高模型性能和泛化能力，减少微调参数。实验证明了局部微调的巨大潜力。

    Dec, 2023