Dec, 2018

面向健康的分裂学习：分布式深度学习，无需共享原始患者数据

PDF
TL;DR本文提出了一个分布式深度学习方法（SplitNN），解决了不同卫生机构之间在不共享原始数据的情况下，如何协同训练深度学习模型的问题。我们提出的 SplitNN 配置适用于不同的实践设置，包括拥有不同患者数据模态的机构、多个卫生机构合作的集中式和本地式协作，以及不共享标签的学习。通过比较 splitNN 和其他分布式深度学习方法（如联邦学习，大型批量同步随机梯度下降）的性能和资源效率权衡，我们展示了 SplitNN 的高度鼓舞人心的结果。
distributed deep learningsplitnncollaborationprivacyresource efficiency
发现论文，激发创造
  • 健康信息学中深度学习模型的分布式协作训练的分割学习

    深度学习在医疗预测任务上表现出了非凡的潜力，但跨医疗机构推广具有挑战性。本文介绍了如何通过分割学习实现跨不同医疗数据集的深度学习模型协作训练，并保持原始记录和模型参数的私密性。通过多个医学成像和电子健康记录数据集，研究表明，通过分割学习训练的深度学习模型可以实现与集中式和联邦学习相似的性能，同时大大提高计算效率并减少隐私风险。

    Aug, 2023

  • 医疗协作深度学习的分离学习

    本研究采用基于分离学习的分布式学习方法，首次将其应用于医学领域，并使用 9000 张眼底照片的二元分类问题和 156,535 张胸部 X 射线的多标记分类问题进行比较。结果表明，相对于单一中心研究和非协作配置，分离学习配置具有更好的性能，这证实了在卫生保健领域中采用深度神经网络的协作培训的益处，并为未来实际应用铺平了道路。

    Dec, 2019

  • 医疗数据隐私保护的分布式深度学习

    本研究介绍了一种在分布式情况下使用差分隐私训练临床数据神经网络的方法，并在 eICU 协作研究数据库和 The Cancer Genome Atlas 上进行了验证。

    Dec, 2018

  • 不共享病人数据的多机构深度学习建模：基于脑肿瘤分割的可行性研究

    本研究介绍了第一个使用联邦学习实现多机构协作、不共享患者数据的深度学习模型，结果表明它在多模态脑扫描的分割方面的性能与共享数据的训练模型相似，在与另外两种合作学习方法的比较中也取得了最佳结果。

    Oct, 2018

  • 基于 SplitNN 的垂直分区

    本文介绍了 SplitNN 驱动的垂直分区，是一种名为 SplitNN 的分布式深度学习方法的一种配置，以便从垂直分布的特征中进行学习。该方法可以在持有不同数据源的机构之间进行培训，而不需要复杂的加密算法或安全计算协议。该方法具有灵活性，并允许许多不同的配置来解决垂直分割数据集提出的具体挑战。与几种配置组合模型的输出进行评估，比较性能和资源效率。

    Aug, 2020

  • 多智能体下分布式深度神经网络学习

    提出了一种基于跨数据源的深度神经网络训练技术，旨在解决在健康医疗和金融等领域中标记数据和计算资源的短缺问题，并可以在数据敏感应用程序中进行分布式训练。

    Oct, 2018

  • 面向隐私保护的联邦学习进展：从联邦学习到分裂学习

    该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

    Nov, 2020

  • 1D CNN 模型上是否能应用 Split Learning 进行隐私保护训练？

    本文研究了在 1D CNN 模型下使用分裂学习进行隐私保护的技术，发现分裂学习技术对保护数据隐私存在一定的泄露，提供了两种隐私泄露缓解技术：客户端增加隐藏层和应用差分隐私，但这些技术都会对模型准确性产生重要影响，因此，我们得出一个结论，分裂学习单独使用不能保持 1D CNN 模型下的原始序列数据的机密性。

    Mar, 2020

  • 具备差分隐私的联邦学习用于敏感健康数据

    本文介绍了一种联邦学习框架，可以从不同站点本地持有的分布式健康数据中学习全局模型，提供了两个级别的隐私保护，第一级别的隐私保护不在模型训练过程中移动或共享原始数据，第二级别的隐私保护使用差分隐私机制防止对模型的潜在隐私攻击，并在两个医疗应用程序上对我们的方法进行了全面评估，使用 100 万患者的真实世界电子健康数据，证明了联邦学习框架在提供更高级别的隐私保护和维护全局模型效用方面的可行性和有效性。

    Oct, 2019

  • 基于代表共享的可扩展协作学习

    通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

    Nov, 2022