健康信息学中深度学习模型的分布式协作训练的分割学习

Aug, 2023

健康信息学中深度学习模型的分布式协作训练的分割学习

Split Learning for Distributed Collaborative Training of Deep Learning Models in Health Informatics

Zhuohang Li, Chao Yan, Xinmeng Zhang, Gharib Gharibi, Zhijun Yin...

TL;DR深度学习在医疗预测任务上表现出了非凡的潜力，但跨医疗机构推广具有挑战性。本文介绍了如何通过分割学习实现跨不同医疗数据集的深度学习模型协作训练，并保持原始记录和模型参数的私密性。通过多个医学成像和电子健康记录数据集，研究表明，通过分割学习训练的深度学习模型可以实现与集中式和联邦学习相似的性能，同时大大提高计算效率并减少隐私风险。

Abstract

deep learning continues to rapidly evolve and is now demonstrating remarkable potential for numerous medical prediction tasks. However, realizing deep learning models that generalize across healthcare organizatio

deep learning split learning collaborative training privacy-preserving distributed learning framework medical prediction tasks

发现论文，激发创造

医疗协作深度学习的分离学习

本研究采用基于分离学习的分布式学习方法，首次将其应用于医学领域，并使用 9000 张眼底照片的二元分类问题和 156,535 张胸部 X 射线的多标记分类问题进行比较。结果表明，相对于单一中心研究和非协作配置，分离学习配置具有更好的性能，这证实了在卫生保健领域中采用深度神经网络的协作培训的益处，并为未来实际应用铺平了道路。

Dec, 2019

面向健康的分裂学习：分布式深度学习，无需共享原始患者数据

本文提出了一个分布式深度学习方法（SplitNN），解决了不同卫生机构之间在不共享原始数据的情况下，如何协同训练深度学习模型的问题。我们提出的 SplitNN 配置适用于不同的实践设置，包括拥有不同患者数据模态的机构、多个卫生机构合作的集中式和本地式协作，以及不共享标签的学习。通过比较 splitNN 和其他分布式深度学习方法（如联邦学习，大型批量同步随机梯度下降）的性能和资源效率权衡，我们展示了 SplitNN 的高度鼓舞人心的结果。

Dec, 2018

面向隐私保护的联邦学习进展：从联邦学习到分裂学习

该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

Nov, 2020

医疗数据隐私保护的分布式深度学习

本研究介绍了一种在分布式情况下使用差分隐私训练临床数据神经网络的方法，并在 eICU 协作研究数据库和 The Cancer Genome Atlas 上进行了验证。

Dec, 2018

具备差分隐私的联邦学习用于敏感健康数据

本文介绍了一种联邦学习框架，可以从不同站点本地持有的分布式健康数据中学习全局模型，提供了两个级别的隐私保护，第一级别的隐私保护不在模型训练过程中移动或共享原始数据，第二级别的隐私保护使用差分隐私机制防止对模型的潜在隐私攻击，并在两个医疗应用程序上对我们的方法进行了全面评估，使用 100 万患者的真实世界电子健康数据，证明了联邦学习框架在提供更高级别的隐私保护和维护全局模型效用方面的可行性和有效性。

Oct, 2019

无泄漏的分割学习：减少隐私泄露

使用分层学习 (SL) 和同态加密 (HE) 的混合方法在 MIT-BIH 数据集上提供了更快的训练时间 (大约是其他基于 HE 的方法的 6 倍) 和显著减少的通信开销 (几乎是其他方法的 160 倍)，从而为深度学习中的敏感数据提供了更好的隐私保护。

Aug, 2023

医疗信息学的联邦学习

通过联邦学习机制，能够保持本地机构中的敏感数据，同时在中央服务器上培训共享全球模型，从而改进卫生保健数据的隐私保护和数据分析，以解决医疗卫生数据碎片化和保密性问题。

Nov, 2019

1D CNN 模型上是否能应用 Split Learning 进行隐私保护训练？

本文研究了在 1D CNN 模型下使用分裂学习进行隐私保护的技术，发现分裂学习技术对保护数据隐私存在一定的泄露，提供了两种隐私泄露缓解技术：客户端增加隐藏层和应用差分隐私，但这些技术都会对模型准确性产生重要影响，因此，我们得出一个结论，分裂学习单独使用不能保持 1D CNN 模型下的原始序列数据的机密性。

Mar, 2020

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

隐私保护的联邦脑肿瘤分割

本文研究采用差分隐私技术以保护病人数据在联邦学习架构中的隐私泄露问题。在对 BraTS 数据集上的脑瘤分割进行实验后，我们发现隐私保护代价与模型性能之间存在权衡。

Oct, 2019