- 分布式学习中的私有知识共享：一项调研
人工智能的崛起已经在许多行业中引发了革命性的变革，其广泛应用导致了 AI 和其底层数据在许多智能系统中的分布。本文针对分布式学习中的私有知识共享提供了一项深入调查，检验了在主要的分布式学习架构中使用的各种知识组件。通过分析，我们揭示了在分布 - 在分布式学习中管理重尾梯度的改进量化策略
我们提出了一种专门针对重尾梯度进行压缩的新方案，该方案将梯度截断和量化有效地结合在一起，并在通信受限的分布式随机梯度下降框架中进行了巧妙实现，我们通过理论分析和与其他基准的比较实验证明了该方法在管理分布式学习环境中的重尾梯度方面的有效性。
- 分布式 SGD 的截断非均匀量化
为了解决分布式学习中的通信瓶颈挑战，本研究引入了一种新的两阶段量化策略，旨在增强分布式随机梯度下降（SGD）的通信效率。通过截断来减轻长尾噪声的影响，随后根据梯度的统计特征进行非均匀量化。我们为量化的分布式 SGD 提供了全面的收敛性分析， - 使用联合防御的 SignSGD: 通过梯度标志解码来利用对抗性攻击
这篇论文研究了分布式学习方法在模型训练中的应用，针对通信延迟和收敛速度的问题提出了两种优化器：signSGD-MV 和 signSGD-FD，并通过实验结果验证了 signSGD-FD 在不同对抗攻击场景中相比传统算法具有更好的收敛速度。
- LocMoE：一种用于大型语言模型训练的低开销 MoE
通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性 - DISTINQT: 质量预测未来移动和无线网络的分布式隐私感知学习框架
DISTINQT 是一个隐私感知的分布式学习框架，用于 QoS 预测，在多个异构节点之间共享计算，并通过将原始输入数据编码为非线性潜在表示来贡献于数据隐私保护。在 Tele-Operated Driving 应用场景，我们的框架相比于集中化 - 通过异构行动抹除通道进行多智能体赌博学习
提出了一种新颖的算法，使学习者能够与异构丢失动作信道上的分布式代理并行交互，从而解决了通信约束和延迟等多智能体环境中的问题。
- 分布式学习专家混合模型
提出了一种分布式学习方法，用于构建一个由本地估计器并行拟合数据子集所组成的大的混合专家模型，通过最小化期望的运输散度来聚合这些本地估计器，并通过提出的主导 - 最小化算法来构造一种计算规模高效的降维估计器。对实验中的统计和数值属性进行了研究 - 拜占庭健壮性和部分参与可以同时实现：只需裁剪梯度差异
提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果 - 无线联邦策略梯度
提出了一种通过无线信道共享本地信息并使用接收到的聚合波形来更新策略参数的无线联合策略梯度算法，并研究了噪声和信道失真对算法收敛性的影响，确定了通信和采样的复杂度以找到一个近似稳定点，并通过模拟结果展示了算法的有效性。
- 分布式学习任务中生成模型的评估
分布式学习任务中生成模型的评估方法主要关注深度生成模型、评估方法、分布式学习、Fréchet inception distance 和 kernel inception distance。
- 联邦多目标学习
提出一种新的联邦多目标学习 (FMOL) 框架，使多个客户端通过分布式和协作的方式解决多目标优化问题，同时保持其训练数据的私密性。该框架支持不同客户端之间的不同目标函数，将多目标优化的思想推广到联邦学习范式中，并提出两种新的联邦多目标优化算 - 基于权重合并的船队策略学习及其在机器人工具使用中的应用
研究通过分布式学习实现机器人舰队在各种环境中获得多样化技能的方法，并介绍了 fleet-merge 方法用于合并参数化的递归神经网络策略，在 Meta-World 环境中有效地合并 50 个任务的策略，并在机器人工具使用基准测试中验证了 f - 能源感知的联邦学习与分布式用户抽样和多通道 ALOHA
将能量收集设备集成到分布式学习网络中，采用多信道 ALOHA 方法，确保低能量中断率和未来任务的成功执行，并通过数值结果证明了该方法的有效性
- 适用于拜占庭式机器学习的实用同态聚合
SABLE 是第一种完全同态和拜占庭鲁棒分布式学习算法，基于新颖的明文编码方法，在图像分类任务上通过实验证明了其在实际执行时间方面的实用性和匹配非隐私算法的机器学习性能。
- 自适应分布式核岭回归：一种适用于数据孤立的可行分布式学习方案
基于自主性参数选择、通信非敏感信息的隐私保证和性能改进的协作性的自适应分布式核岭回归 (AdaDKRR) 是解决数据孤岛问题的可行方案，并能在智能决策、价格预测和产品性能预测等领域发挥作用。
- 关于多智能体非线性滤波和学习的动态
本篇论文研究了具有非线性滤波和学习动态的多智能体网络系统的行为，提出了多智能体网络系统中一个智能体的行为的一般表达式，并给出了实现协同学习行为的条件。同时，还介绍了该框架在分布式学习和联邦学习场景中的应用。
- 随机网络上的在线分布式学习
在多智能体系统中，为解决分布式学习问题，本研究提出了一种名为 DOT-ADMM 的算法，通过在线学习、异步智能体计算、不稳定与受限通信以及近似本地计算等方法，保证了算法的收敛性和稳健性。
- 鲁棒的网络联邦学习用于定位
本文提出了一种在分布式子梯度框架中采用 L1 范数鲁棒性公式的方法来解决分布式环境中的定位问题，并通过数值模拟验证了该方法在异常值较多的环境中的优越性能。
- 混合线性回归模型的聚类数据中的 EM 算法
在分布式数据中，通过结构化数据进行 EM 估计的集群结构可有效提高学习方案，最多需要 O (1) 次迭代以达到相同的统计准确性，只要 m 按照 e^{o (n)} 增长。