NIPSMay, 2022

EXPANSE： 深度迁移学习的深度继续 / 渐进学习系统

PDF
TL;DR提出了一种名为 EXPANSE 的新的深度转移学习方法，通过扩展网络层来避免遗忘和过度偏置的问题，并引入了基础课程和复杂性学习的两阶段培训方式，该方法在处理远程源和目标数据方面取得了成功。
发现论文，激发创造
  • 深度迁移学习与最近进展综述

    该论文介绍了深度迁移学习的定义和分类方式，探讨了近五年来应用的技术，并研究了实验分析结果，讨论了深度迁移学习方法的限制以及对应的解决方案和研究趋势。其中包括在 Covid-19 检测和边缘设备上应用深度迁移学习可以降低训练成本和增加精度的优势。

    Jan, 2022

  • 稳定紧凑拣选与自我增长：不遗忘持续学习

    本文提出了一种简单但有效的方法来实现深度学习的连续增量学习，该方法结合了深层模型压缩、关键权重选择和渐进网络扩展的原理，在迭代中实现它们的集成，从而能够实现多种任务的增量学习，避免遗忘并保持模型的紧凑性。在实验中，该方法能够在不遗忘前面任务的情况下，增量学习处理多个任务的深度模型，同时对于单个任务的训练也具有更好的性能表现。

    Oct, 2019

  • 如何以迁移学习方式进行迁移

    本文探讨了深度学习中的迁移学习的效果与代价，结果提供了关于使用迁移学习的指南。

    Nov, 2022

  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024

  • 作为学习基因的线性扩展的变压器

    扩展共享 Transformer 模块以生成和初始化具有不同深度的 Transformer，以适应动态资源约束。

    Dec, 2023

  • DER：动态可扩展表示用于类增量学习

    提出了一种新颖的、两阶段的学习方法，利用动态可扩展表示进行更有效的概念建模，在三个类别的增量学习基准测试中，该方法始终表现出比其他方法更好很大的优势。

    Mar, 2021

  • 基于适配器混合的预训练模型自我扩展的持续学习

    自我扩展且具模块化适应的预训练模型的细调方法 (SEMA) 在连续学习中自动决定何时重用或添加适配器模块，并根据不同表示层检测到的剧烈分布变化来进行适应，通过比较基于视觉转换的连续学习适应方法，证明了该框架优于当前最先进的方法且无需记忆回放。

    Mar, 2024

  • 高效扩展和基于梯度的任务推断，用于无回放增量学习

    我们提出了一个基于扩展的模型，用于持续学习，通过在先前任务的参数上增加模型来充分利用以前学到的信息，从而实现更好的知识传递。同时，我们还提出了一种强大的任务预测方法，通过使用熵加权的数据增强和伪标签来评估模型性能，并在各种数据集和架构设置中展示了最先进的结果。

    Dec, 2023

  • 持续学习者是增量模型泛化器

    本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

    Jun, 2023

  • 渐进式迁移学习

    本研究提出了一种基于 Batch-related Convolutional Cell (BConv-Cell) 的 Progressive Transfer Learning (PTL) 方法，通过收集数据集的全局信息，优化预训练的 ReID 模型，显著提高 MSMT17、Market-1501、CUHK03 和 DukeMTMC-reID 数据集上的性能和一般图像分类基准模型的性能。

    Aug, 2019