- 利用 Reed-Solomon 码改进分布式梯度下降
本文介绍了一种分布式梯度下降方法，该方法使用编码理论并考虑存在 stragglers 的情况，以恰当的机器学习问题为应用场景，理论证明了在给定机器计算能力的情况下，可以通过最少数量的机器 $f$ 通过 $O (f^2)$ 解码算法恢复梯度， - NIPSShort-Dot”: 使用编码短点积分布式计算大规模线性变换
本文介绍了一种基于编码理论的新技术，名为‘Short-Dot’，通过引入冗余计算来解决分布式计算中遇到的异常缓慢的处理器（即‘stragglers’）问题，并且相较于传统方案，Short-Dot 能够在减少计算、存储和通讯成本的同时提升计算 - KDD使用列分组分解矩阵的 Block CUR 算法
本文研究了采样预定义块以逼近矩阵的问题，应用了一种适用于大型矩阵分布式设置中计算块 CUR 分解的算法，并应用于生物识别数据分析，在真实世界的测试环境中展示了实验结果。
- 边缘设备上的分布式深度学习：通过自适应压缩实现可行性
本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯 - 异构集群上的编码计算
本文提出了一种编码框架（HCMM）以提高异构分布式计算的速度，并展示了在 Amazon EC2 上进行分布式矩阵乘法实验的结果。该方法比三种基准负载分配方案的速度分别快 61％，46％和 36％。同时，我们还提供了在异构设置中的最优负载分配 - 一种灵活的索引编码数据打乱方法
本文探讨使用 pliable index coding 于分布式计算中的数据洗牌，通过数据洗牌约束下的可变编码和分层方案实现优化，性能比 index coding 提升高达 $O (ns/m)$。
- 随机分布式均值估计：准确性与通信
本文研究如何在分布式计算环境中在通信成本约束下，适应一系列随机化算法以在预期的通信成本和估计误差之间进行权衡，实现对一组向量的平均值估计，为分布式优化和学习算法中的 reduce-all 操作提供了一种解决方案。
- 面向带延迟的服务器分布式计算的统一编码框架
本文介绍了一种针对分布式计算的编码框架，通过在某些线性计算任务中引入 “计算延迟” 和 “通信负载” 之间的权衡来解决延迟和通信负载问题，从而实现在延迟和负载之间取得权衡来执行分布式计算任务。
- 分布式决策调查
本研究调查了关于检查给定分布式系统配置是否符合给定布尔谓词的最近分布式计算文献，考虑了经典的分布式计算环境，包括大多数同步无故障网络计算（LOCAL 和 CONGEST 模型），以及异步崩溃共享内存计算（WAIT-FREE 模型）和移动计算 - 排除子图的分布式测试
在基于 CONGEST 模型的分布式计算中，我们研究了属性测试。我们证明，对于每个联通的 4 节点图 H，测试一个图是否是 H-free 也可以在恒定数量的回合中完成。同时，我们探讨了两种用于测试 H-freeness 的通用算法类型，并证 - 分布式计算中计算和通信之间的根本权衡
本论文研究的问题是如何在分布式计算中，通过优化计算负载来降低通信负载，通过研究分布式计算中计算和通信之间的权衡关系，提出一种编码方案，命名为 “编码分布式计算”（CDC），该方案通过增加 Map 函数的计算负载来减少通信负载，实现了计算和通 - 一种通用的分布式双坐标优化框架用于正则化损失最小化
本文提出了一个新的分布式双重正则化损失函数最小化问题的方法，可以直接处理数据并行性，并允许系统地导出二次坐标优化过程。通过这个新的公式，我们开发了分布式替代双重最大化（DADM）的加速版本，并提供了理论上的性能分析，发现其性能明显优于以前的 - DeepSpark：一个基于 Spark 的商用集群分布式深度学习框架
本文介绍了 DeepSpark，这是一个利用 Apache Spark 在普通集群上进行分布式和并行的深度学习的框架，它通过异步的弹性平均随机梯度下降算法迭代地聚合训练结果，以解决现在深度神经网络训练和大规模数据处理方面面临的挑战。
- 利用深度学习和 Apache Spark 进行移动大数据分析
本文介绍了一种基于 Apache Spark 的分布式深度学习框架，可在移动大数据分析中实现快速学习和活动识别。
- IJCAI分布式深度学习的同步异步随机梯度下降算法
本文提出了一种改进的异步 SGD 算法，通过梯度陈旧程度对学习速率进行调节，以提高其稳定性和收敛速度，在 CIFAR10 和 Imagenet 数据集上进行了实验验证，并证明了该算法的优越性。
- 分布式深度学习中模型准确性与运行时间的权衡：一个系统性研究
本文提出了 Rudra—— 一种参数服务器为基础的分布式计算框架，通过异步随机梯度下降算法的变体，研究了同步协议、过期的梯度更新、小批量大小、学习速率和学习者数量对运行时性能和模型精度的影响，并提出了一种新的学习率调制策略和同步协议，这可以 - CloudCV：云服务下的大规模分布式计算机视觉
CloudCV 是一个系统，提供 Web 界面和 API，通过云服务访问分布式计算机视觉算法，旨在使计算机视觉民主化，使得所有人都能访问最先进的分布式计算机视觉算法。
- 通过并行次模逼近进行图分区以加速分布式机器学习
该论文提出了一种基于图分割的分布式计算算法，其可以有效降低数据分布式处理过程中的通信成本，实验结果表明该算法能够在机器学习系统中实现 1.6 倍的加速，并且消除 90％的网络通信。
- 分布式和流式模型中的最优主成分分析
该论文提供了改进的分布式 PCA 和流式 PCA 算法，旨在找到矩阵的最佳秩 - k 逼近。
- 移动微云中的移动诱导服务迁移
本文研究了移动微云在分布式计算中的应用，探讨了用户移动时由于不同的基站或接入点附带不同的微云而引起的问题，提出了基于马尔可夫决策过程模型的优化服务迁移算法。