- 联邦生成模型的系统回顾
综述了 2019 年至 2024 年间的涉及联邦学习和生成模型的研究，系统比较了近 100 篇论文的方法和隐私问题，强调了最新的进展和未解决的挑战，为未来的研究提供了洞见。
- Freya PAGE: 大规模非凸有限和优化中的首个最优时间复杂性与异步计算的异构
该研究论文介绍了一种名为 Freya PAGE 的新的并行方法，用于处理异构和异步计算情况下的非凸有限和问题，该方法具有较强的鲁棒性，通过忽略慢速计算和对付异常值，相比之前的方法包括异步 SGD、Rennala SGD、SPIDER 和 P - 基于 Huber 损失的用户级差分隐私均值估计方法
在分布式系统中，用户整体样本的隐私保护是很重要的。我们提出了基于 Huber loss 最小化的方法来进行用户级差分隐私下的均值估计，通过自适应调整 Huber loss 的连接点来处理不平衡的用户，避免了剪辑操作，大大减少了误差。通过理论 - DeepHYDRA：动态配置系统中的资源高效时间序列异常检测
使用 DeepHYDRA 方法进行分布式系统中的异常检测，结合 DBSCAN 和基于学习的异常检测的混合方法，可可靠地检测不同类型的异常。
- 革命性系统可靠性：人工智能在预测性维护策略中的作用
在计算连续体系统中，维护领域正随着人工智能（AI）的整合而快速发展。本文重点调查了计算连续体中预测性维护（Pd.M.）的当前状态，并注重可扩展 AI 技术的结合。通过综合研究领域内最新进展的发现，本文提供了实施基于 AI 的预测性维护的效果 - 可许可的知识汇集
该论文介绍了一种用于知识池化或共享的动态逻辑，并进一步讨论了一个可能的可允许知识池化的框架。
- CATGNN: 图神经网络的高效可扩展分布式训练
CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 - 导航器：用于延迟敏感机器学习工作流的分散调度器
我们提出了 Navigator，这是一个将 GPU 内存管理和任务调度统一起来的新框架，它在保证资源利用效率的同时，将任务放置在满足数据依赖关系的位置，将来自同一作业的任务放置在一起（在不过载主机或其 GPU 的情况下），并有效地管理 GP - 利用层间专家亲和性加速混合专家模型推理
在这篇论文中，我们提出了一种轻量级的优化技术 called ExFlow，用于大大加速 Mixture of Experts 模型的推理过程，并通过利用层间专家亲和力来减少跨 GPU 路由延迟，取得了显著的推理吞吐量提升效果。
- 学习广播协议
研究了使用 learning algorithm 和 SMT solver 学习带有任意进程数量的分布式系统中的有限广播协议问题，证明了有限广播协议是可教的，但特征集尺寸无法降低到多项式级别。
- 基于区块链的联邦学习在分布式能源管理系统中的应用
本文介绍了利用区块链、智能合约和联邦学习来支持分布式能源交易、智能微电网能源网络以及电动和联机车辆管理这些关键应用领域的最新技术研究，并深入探讨了去中心化、联邦学习和区块链在 IoE 系统中的优势和利益。
- 面向基于机器学习的分布式系统的认证
本文分析了目前认证方案存在的挑战和不足，讨论了开放的研究问题，并针对基于机器学习的分布式系统提出了第一个认证方案。
- ICMLLESS-VFL: 用于联合学习的高效通信特征选择
本文提出了 LESS-VFL，这是一种用于垂直切分数据的分布式系统中的通信高效特征选择方法，通过优化服务器端的全局模型，然后将此信息分享给其他参与方，从而允许本地特征选择，进而提高模型的泛化性、效率和可解释性。
- HiQ -- 一个声明式、非侵入式、动态透明的可观测和优化系统
本文提出了一种名为 HiQ 的系统，可以跟踪 Python 程序的运行时信息，适用于各种 monolithic 和 distributed 系统，通过优化大型深度神经网络模型，可以在保持运行时系统性能和不失洞察力的情况下实现应用。
- MoniLog: 云计算基础设施自动化日志异常检测系统
本文介绍了 MoniLog，一种用于检测大型系统中实时异常的分布式方法，旨在检测多源日志流中的顺序和数量异常，并通过输出分类器从管理员的操作中学习标记和评估异常的重要性。
- 物联网网络中可扩展的实时恶意软件流量检测
本论文介绍了利用机器学习算法对物联网恶意软件流量进行检测的方法，通过分布式系统如 Apache Kafka 和 Apache Spark，并加速模型推理速度的 Intel oneAPI 软件栈，达到实时监测的效果，同时在智慧社区和医疗机构抵 - 大规模深度推荐模型的 GPU 专用推理参数服务器
本文介绍了 HugeCTR Hierarchical Parameter Server（HPS），这是一种结合了高性能 GPU 嵌入式缓存和分层存储架构的行业领先的分布式推荐推断框架，可将端到端推理延迟显着降低至 5-62 倍，并可以通过多 - 面向分布式训练的图卷积网络通信高效采样
本文提出了一种通信高效的邻居采样方法，用于分布式训练图卷积网络，并在节点分类基准测试中证明了该方法显著降低了通信开销，损失很少的准确性。
- MM具有受限通信的贝叶斯矩阵分解高性能实现
在大规模数据上，将高度可扩展的后验传播算法与基于分布式异步通信的矩阵分解算法相结合，可以显著提高矩阵分解在减少墙钟时间方面的可扩展性。
- 合作设备的联邦学习：大规模物联网网络的共识方法
这篇论文介绍了一种完全分布式的联邦学习算法，该算法的优点在于避免了数据披露并具有扩展性商用前景，可以在包括物联网设备在内的网络中使用。