Jul, 2020

在连续学习中通过动态内存缓解灾难性遗忘

PDF
TL;DR本研究介绍了一种使用动态内存来适应医学影像中不断变化的数据漂移及应对灾难性遗忘效应的机器学习算法，并在两种不同扫描协议的临床 CT 数据和合成分类任务中进行了实验验证。实验表明，动态内存能有效对抗多个数据漂移设置下的灾难性遗忘，并不需要显式的知识来识别这些漂移发生的时间。
medical imagingmachine learningdata shiftsdynamic memoryct
发现论文，激发创造
  • 通用医疗模型的渐进式持续学习

    本研究通过评估四个不同医学图像场景中各种连续学习方法的性能表明，单一模型可以顺序地学习来自不同专业的新任务，并达到与传统方法相当的性能，从而证明了在医学领域跨机构共享或回收模型的可行性，进一步推动了通用医学影像人工智能的发展。

    Nov, 2023

  • 差分隐私继续学习

    研究提出一种基于变分推理的差分隐私连续学习框架，该框架利用旧数据的差分隐私生成模型估计当前模型下旧数据的可能性，以解决机构删除历史数据的隐私问题所导致的神经网络记忆降解问题。

    Feb, 2019

  • 神经机器翻译的平衡训练：超越持续学习的灾难性遗忘

    针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

    Mar, 2022

  • 医学领域扩展中应对灾难性遗忘问题

    本研究旨在开发一种方法来解决深度学习模型在医疗领域中出现的模型脆弱性问题，该方法在训练后对原有医疗机构的模型性能进行更新，以适应其他医疗机构的数据，同时，在模型性能下降时进行 batch normalization，从而提高模型性能并保护患者隐私。

    Mar, 2021

  • 医学影像分析中的持续学习：最新进展与未来前景的综述

    在医学影像分析中，深度学习算法的快速发展使得医学影像分析取得了显著的进展，但是在推理数据集与模型训练时所见数据略有不同的情况下，模型的性能会受到很大影响。因此，需要采用连续学习技术来处理新类别、新任务和非稳态环境中的数据变化。本系统综述论文对连续学习技术在医学影像分析中的应用进行了全面的概述，包括灾难性遗忘、数据漂移、稳定性和可塑性要求等方面的研究，同时对连续学习方案、技术、评价方案和指标等关键组成部分进行了深入讨论。

    Dec, 2023

  • 分离记忆编辑与模型更新的解耦继续学习

    机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

    Dec, 2023

  • 在连续学习中利用测试时间数据控制遗忘

    通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

    Jun, 2024

  • 动态模块化和稀疏的通用持续学习

    本文研究了基于重复练习的持续学习方法对于解决深度神经网络在面对非稳态数据时产生的遗忘问题的有效性，并引入 brain sparse coding 中的动态模块化与稀疏性 (Dynamos) 来解决任务干扰问题。研究结果表明 Dynamos 在多组数据集上的表现均好，并且所学习的特征表现出模块化和专业化的特点，同时具有重用性。

    Jan, 2023

  • 基于聚类的领域增量学习

    通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。

    Sep, 2023

  • 基于重播的连续学习在语义分割中的应用: RECALL

    研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

    Aug, 2021