ICCVAug, 2023

针对选择性源任务遗忘的一次性迁移学习

PDF
TL;DR提出了一种名为 “一次性迁移学习（DTL）” 的新转移学习范式，通过使用 Gradient Collision loss（GC loss）实现知识消除，从而在不降低目标任务性能的情况下，仅处理源任务，GC loss 训练的模型在目标任务上表现出色，且极大地降低了 “知识泄露” 风险。
transfer learningdeep neural networkspre-trained modeldisposable transfer learninggradient collision loss
发现论文，激发创造
  • DTL：用于视觉识别的解耦式迁移学习

    通过提出深度解耦迁移学习（DTL），我们可以减少大量的 GPU 内存使用和可训练参数，并在准确性上显著超过现有的 PETL 方法，在几个标准基准上达到了新的最先进水平。

    Dec, 2023

  • 深度迁移学习与最近进展综述

    该论文介绍了深度迁移学习的定义和分类方式，探讨了近五年来应用的技术，并研究了实验分析结果，讨论了深度迁移学习方法的限制以及对应的解决方案和研究趋势。其中包括在 Covid-19 检测和边缘设备上应用深度迁移学习可以降低训练成本和增加精度的优势。

    Jan, 2022

  • 使用预训练的有条件生成模型进行迁移学习

    在深度神经网络中，迁移学习对于新目标任务的训练至关重要。我们提出了一种基于深度生成模型的迁移学习方法，通过伪预训练和伪半监督学习两个阶段来进行，不需要做出现有方法中的假设，能够优于从头开始训练和知识蒸馏的基准方法。

    Apr, 2022

  • 对话理解中基于数据效率的数据集内任务迁移探索

    本研究探讨了在对话领域中，基于顺序迁移学习的多少目标任务训练数据会对模型性能和数据效率产生何种影响。研究结果表明，在许多情况下，与没有迁移学习的相同模型相比，目标任务的训练数据大小对顺序迁移学习的表现几乎没有影响。这一出人意料的结果可能是灾难性遗忘效应的影响，进一步的工作需要研究如何避免这种遗忘。

    Oct, 2022

  • 迁移遗忘的数据选择

    深度学习模型、机器取消学习、迁移取消学习、数据筛选、测试准确率。

    May, 2024

  • 基於生成回放的評論式學習方法

    本研究提出了一种名为 Review Learning 的深度学习连续学习技术，使用神经突触权重中存储的记忆信息生成数据样本，并避免了在数据集转移学习中出现的灾难性遗忘现象，从而在保护数据隐私的前提下，提高了模型的性能表现。在使用三类二分类电子病历数据进行仿真和真实医疗多机构实验验证后，本文表明 Review Learning 能够高效保留之前学习的知识。

    Oct, 2022

  • 多尺度神经过程嵌入知识的可扩展可靠深度迁移学习用于智能故障检测

    本文提出了一种基于神经过程和图卷积网络的深度转移学习方法（GTNP），通过特征转移策略在高维空间中消除源领域和目标领域之间的数据分布差异，全局和局部潜在变量的联合建模以及稀疏采样策略减少目标领域中观测数据的需求，多尺度不确定性分析通过全局和局部潜在变量的分布特征获得，从而使 GTNP 能够提供反映方法复杂性和任务难度的定量值，同时允许对每个受到噪声和偏差影响的样本进行不确定性建模（故障检测结果的置信度），在 3 个智能故障检测任务中，验证了所提出方法相较于其他基于深度转移学习的方法具有更好的检测性能。

    Feb, 2024

  • 梯度转化：面向动态图神经网络的高效和模型无关的遗忘

    我们提出了一种有效、高效、模型无关的后处理方法来实现动态图神经网络的去学习，通过定义去学习请求并在连续时间动态图的背景下形成动态图的去学习，通过对去学习数据、剩余数据和目标动态图神经网络模型进行角色分析，我们提出了一种称为梯度变换和损失函数的方法，将去学习请求映射到所需的参数更新。我们在六个真实世界数据集和最先进的动态图神经网络骨干上进行评估，证明了其效果（例如，性能下降有限，甚至明显改进），效率（例如，最多 7.23 倍加速）和处理未来去学习请求的潜在优势（例如，最多 32.59 倍加速）。

    May, 2024

  • 一种统一的元学习框架用于动态迁移学习

    本文研究了一种更为现实和具有挑战性的转移学习设置，其中源任务和目标任务在时间上不断变化，我们提出了一个基于元学习的通用框架 L2E，它能够有效地在动态任务之间传递知识、快速适应新目标任务、减轻历史目标任务的灾难性遗忘，并且可灵活地结合任何现有的静态转移学习算法，验证实验表明该框架的有效性。

    Jul, 2022

  • 持续学习者是增量模型泛化器

    本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

    Jun, 2023