May, 2018

分布式权重整合：一个脑分割案例研究

PDF
TL;DR介绍了分布式权值整合 (DWC), 它是一种连续学习方法，用于将独立数据集上训练的神经网络的权重整合。通过脑分割案例研究，我们发现 DWC 导致在不同站点的测试集上性能提高，同时与集成基线相比，在非常大且完全独立的多站点数据集上保持泛化性能。
deep neural networksdistributed datacontinual learningconsolidating weightsbrain segmentation
发现论文，激发创造
  • 通过深度模型巩固实现类增量学习

    本文提出了一个名为 Deep Model Consolidation（DMC）的类增量学习范式，它通过利用公共可用的无标签辅助数据，将训练数据集中的已知类和未知类分别训练成不同的模型，然后通过新型的双重蒸馏训练目标结合两个模型，从而解决了增量学习中的 “灾难性遗忘” 问题，并在单头 IL 设置中，相比于现有技术，显著提升了图像分类和物体检测的性能。

    Mar, 2019

  • 医学影像中的持续学习

    本文研究使用神经网络对大脑 MRI 进行两个分割任务的不断学习，通过探索弹性权重共享的新方法 去解决因学习新任务而导致的对第一个任务的灾难性遗忘，实验表明该方法在挑战性的不断学习中具有应用前景。

    Nov, 2018

  • 联邦脑肿瘤分割不同聚合和超参数选择方法的评估与分析

    研究使用联邦学习在医学影像领域快速收敛和更好的表现，解决数据集中医疗隐私和数据所有权问题，并探索其在脑肿瘤分割问题上的应用。

    Feb, 2022

  • 自适应权重巩固在连续学习中的应用

    我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

    Jul, 2023

  • 不共享病人数据的多机构深度学习建模：基于脑肿瘤分割的可行性研究

    本研究介绍了第一个使用联邦学习实现多机构协作、不共享患者数据的深度学习模型，结果表明它在多模态脑扫描的分割方面的性能与共享数据的训练模型相似，在与另外两种合作学习方法的比较中也取得了最佳结果。

    Oct, 2018

  • 深度神经网络的推理阶段统一和合并

    本文提出了一种新的卷积神经网络合并方法，在共享权重的基础上，将训练好的两个具有不同架构的网络在推断阶段融合为一个统一的模型，以适应资源有限的设备，实验结果表明此方法有效。

    May, 2018

  • 协作任务隐私的神经网络权重联合学习

    CoLN 是一种新颖的安全方法，用于合并机器学习模型，并维持数据隐私，同时保证在保护数据隐私的前提下提高模型的准确性，特别适用于医疗领域等隐私敏感领域。

    Apr, 2022

  • 权重插值的持续学习

    该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

    Apr, 2024

  • 隐私保护的联邦脑肿瘤分割

    本文研究采用差分隐私技术以保护病人数据在联邦学习架构中的隐私泄露问题。在对 BraTS 数据集上的脑瘤分割进行实验后，我们发现隐私保护代价与模型性能之间存在权衡。

    Oct, 2019

  • 多元加权平均用于区分分布外泛化

    本文介绍了一种新的权重平均策略 ——Diverse Weight Averaging (DiWA)，通过多次独立训练获得的模型权重进行平均，以增加模型的功能多样性，并提出了一种新的误差分解方法来说明多模型平均在测试期间建模分布发生变化时成功的原因，并通过实验证明，DiWA 在不增加推理开销的情况下始终提高了 DomainBed 基准的表现。

    May, 2022