- 在分布式 SGD 中结合差分隐私和拜占庭容错
本文研究了在标准参数服务器架构下，分布式 SGD 算法能否在部分节点受到 Byzantine 攻击，另一部分节点提供加噪的信息以保证 DP 的情况下，学习一个准确的模型。研究发现，在保证 DP 的情况下，现有的对于分布式 SGD 在 Byz - AAAI分布式优化的无偏单尺度和多尺度量化器
本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。
- 多层网络支持下的无人机辅助在线机器学习：分层嵌套个性化联邦学习方法
研究使用无人机队列跨越一组地理分散、资源受限的设备集来训练机器学习模型；其中，关于设备群集的时间变化数据异构性和计算资源不足性，推动了我们方法的四个关键部分：（i）分层的领导机、工作机和协调机无人机群体、（ii）个性化联合学习 (HN-PF - FedCM: 客户级动量的联邦学习
本文提出了一种名为 FedCM 的新型联邦平均算法，用于解决现实世界联邦学习应用中的部分参与和客户异质性问题。它在以前的通信轮次中聚合全局梯度信息，并修改客户端梯度下降，可以有效地纠正偏差并提高本地 SGD 的稳定性。作者提供了理论分析和广 - 面向因果联邦学习的增强鲁棒性和隐私保护
本文提出了一种在联邦学习中学习所有参与客户机中共同不变（因果）特征的方法，并经验性地分析了它如何增强模型的精度和隐私性。
- AAAIEasyASR：一种用于端到端自动语音识别的分布式机器学习平台
EasyASR 是一个分布式机器学习平台，用于在分布式 GPU 集群上训练和提供大规模的自动语音识别模型，并收集和处理大规模音频数据。该平台支持预定义或用户自定义网络体系结构的 ASR 模型学习，并在多个公共数据集上实现了普通话语音识别的最 - NoPeek：减少信息泄露以在分布式深度学习中共享激活
本文提出了一种基于距离相关性降低原始数据和中间表示之间信息泄露的分布式深度学习方法，以应对敏感数据对分布式机器学习服务的限制。该方法在训练和推断过程中通过减少数据和表示之间的距离相关来预防原始数据的重构攻击。实验证明该方法能够有效保护隐私信 - MMMix2FLD: 双向 Mixup 的上行联邦蒸馏后的下行联邦学习
提出 Mix2FLD，一个新的通讯高效且隐私保护的分布式机器学习框架，用于解决上下行容量不对称问题。混合线性上传本地样本，并在服务器上反混合不同设备的样本，以保持隐私并提高准确性和收敛速度。在不对称上下行信道下，与联邦学习相比，Mix2FL - VANET 的差分隐私协作入侵检测系统
本文提出了一种基于隐私保护机器学习的协作入侵检测系统（PML-CIDS），它可以通过应用分布式机器学习算法，实现 VANET 的高效安全检测，并通过差分隐私技术保护数据的隐私性。
- MM基于边缘云协同异质边缘资源限制下的在线学习
本文提出了一个基于资源限制的多臂老虎机模型的在线学习框架，用于解决异构边缘设备的分布式机器学习问题，实验结果表明，该框架在学习性能和资源消耗之间的权衡方面显著优于现有的边缘学习和其他协作机器学习方法。
- LASG: 惰性累加随机梯度优化方法用于高效通讯的分布式学习
该论文旨在通过 LASG（一种新的随机梯度下降方法）解决通信效率低下的分布式机器学习问题，并在实验中展示可以节省大量的通信成本。
- 医疗协作深度学习的分离学习
本研究采用基于分离学习的分布式学习方法，首次将其应用于医学领域，并使用 9000 张眼底照片的二元分类问题和 156,535 张胸部 X 射线的多标记分类问题进行比较。结果表明，相对于单一中心研究和非协作配置，分离学习配置具有更好的性能，这 - 具有域自适应的私有联邦学习
本文提出了一种基于联邦学习的机器学习分布式范例，可以在保护隐私的前提下进行多方联合重新训练共享模型，并通过用户级领域自适应来提高模型精度，实验结果表明在为 FL 模型强制实施差分隐私界限时，该技术可以更大程度地提升模型的准确性。
- AAAI分布式机器学习基于异构边缘系统
提出 ADSP 参数同步方案，解决了分布式机器学习中参数同步与边缘设备的异构性问题，通过策略性地决定每个工作节点提交模型更新的时间点，不仅确保了全局模型收敛，而且加快了收敛速度。
- 使用独立子网络训练的分布式深度神经网络学习
提出了一种名为独立子网训练（IST）的分布式全连接神经网络学习新方法，通过将原始网络分解成具有相同深度的一组窄子网络，使 IST 能够有效处理强制分布式数据、慢速互连或有限设备内存等问题，并且训练时间远低于传统的分布式学习方法。
- 通过惰性聚合量化梯度进行高效的分布式学习通信
本文提出了一种新的集成梯度方法来进行分布式机器学习，其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明，与现有的基于梯度或随机梯度的算法相比，该算法可以显著减少通信量和通信轮数。
- 分布式特征隐私学习：ADMM 共享方法
本文提出了一种用于处理分布式学习中固有分布或纵向分区的特征的风险最小化方法的 ADMM 共享框架，介绍了新颖的差分隐私 ADMM 共享算法，并通过精心设计的噪声扰动对隐私保证进行了约束，其实验结果表明所提出的 ADMM 算法具有高效的收敛性 - 异构数据分布式边缘学习的无线联邦蒸馏
本文研究了存在无线通信信道时的分布式机器学习中的协作训练方法，提出了数字实现和过空中计算实现的联合源 - 信道编码方法，并在高斯多址信道下进行了评估。
- ICML分布式非凸优化中通信高效动量随机梯度下降的线性加速分析
本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。
- 高维度快速稳健分布式学习
证明 multi-Bulyan 在分布式机器学习中是鲁棒且快速的梯度聚合规则，并能够实现拜占庭容错，其本地计算成本与平均计算法相同，且并行化加快了其效率。