Jun, 2024

踏出并探索：关于使用增量数据进行热启动训练

PDF
TL;DR通过知识整合和获取（CKCA）算法，我们提出了适用于深度学习应用的连续模型改进方法，旨在在不损害先前知识的前提下，更好地适应新数据，并采用两个新组件：特征规范化（FeatReg）和自适应知识蒸馏（AdaKD）。在 ImageNet 数据集上的实验中，我们的方法相比于传统的热启动方法，取得了高达 8.39% 的高准确度提升，并始终以较大的优势胜过先前应用的方法。
datadeep learningwarm-startingknowledge consolidationadaptation
发现论文，激发创造
  • 适应性特征融合的知识蒸馏分类增量学习

    本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

    Apr, 2022

  • 神经网络中的知识演化

    提出了一种基于知识进化的训练方法，它通过将深度网络分成适配假设和重置假设来迭代进化知识，能够在相对较小的数据集上提高性能、学习较瘦的网络并减少推理成本，达到 21% 的绝对性能提升和 73% 的相对推理成本降低。

    Mar, 2021

  • Warm-Start Actor-Critic: 从逼近误差到次优间隔

    本文旨在建立一个基本框架，以增进我们对 “来自离线 RL 的热启动策略是否以及何时能够显著加速在线学习” 这个问题的理解，主要研究使用先前策略进行 A-C 方法的强化学习算法时，近似误差在有界条件下对算法的影响。

    Jun, 2023

  • 关于细粒度图像检索的增量学习探究

    本研究针对细粒度图像检索在增量学习场景中的问题，提出一种基于增量学习和最大均值差异的方法，以减轻遗忘问题导致的检索性能降级。通过将原网络的分类器提供的软 “标签” 传输到训练自适应网络的过程中，达到保留原分类能力的目的，并通过模型正则化来最小化原网络与自适应网络之间的新类特征的偏差。实验结果表明，该方法在保持原类分类性能的同时，对新类有较高的性能表现。

    Oct, 2020

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023

  • 利用连续学习技术加速批量主动学习

    本研究提出 Continual Active Learning（CAL）的概念，结合现有和新开发的基于回放的多样化技术，能有效解决 Active Learning 中重新训练以及忘记旧数据等问题，从而能在保持性能的同时大幅度减小训练时间。

    May, 2023

  • 在类增量学习中维护差异性和公正性

    本文提出了一种基于知识蒸馏和权重对齐的类增量学习方法，能够有效减轻灾难性遗忘，提高模型性能，实验证明此方法在几种数据集上明显优于现有最先进方法。

    Nov, 2019

  • 语义分割中的增量学习知识蒸馏

    本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

    Nov, 2019

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 通过选择性参数微调克服通用知识丢失

    本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。

    Aug, 2023