拉格朗日编码计算：弹性、安全和隐私的最优设计

Jun, 2018

拉格朗日编码计算：弹性、安全和隐私的最优设计

Lagrange Coded Computing: Optimal Design for Resiliency, Security and Privacy

Qian Yu, Songze Li, Netanel Raviv, Seyed Mohammadreza Mousavi Kalan, Mahdi Soltanolkotabi...

TL;DR提出 Lagrange 编码计算（LCC）框架，用于提高分布式学习算法的可靠性、安全性和隐私性，加速分布式最小二乘线性回归等计算，同时优化容忍失败节点和对抗者的最大数量，以及防止最大数量的共谋工作的数据隐私。

Abstract

We consider a scenario involving computations over a massive dataset stored distributedly across multiple workers, which is at the core of distributed learning algorithms. We propose lagrange coded computing (LCC), a new framework to simultaneously provide (1) →

distributed learning algorithms lagrange coded computing resiliency security privacy

发现论文，激发创造

编码计算：一个学习理论框架

编码计算是在大规模分布式计算中解决显著挑战的一个有前途的框架，本论文提出了一种基于学习理论的新型编码计算框架，通过最小化损失函数，结合编码器和解码器函数，以求得估计误差的均方误差衰减率，并在各种机器学习模型的推理任务中展示了该框架在准确性和收敛速度方面优于现有技术。

Jun, 2024

通信计算高效的梯度编码

该论文提出了一种编码技术，以减少分布式学习任务的运行时间，并基于递归多项式结构提出了一种编码方案，优化了梯度计算的运行时间，同时保持相同泛化误差。

Feb, 2018

利用聚类和多消息通信的梯度编码

本文介绍了一种新的梯度编码（GC）方案，结合多消息通信（MMC）和聚类，以减少因服务器慢导致的迭代时间延长问题，其能有效提高平均完成时间并降低通信负荷。

Mar, 2019

无线边缘网络下低延迟联邦学习的编码计算

本文提出了一种注入结构编码冗余的编码计算框架 CodedFedL，用于在 MEC 网络中进行非线性联合学习，通过利用计算统计属性和通信延迟，找到客户端处理的本地数据点数量和编码冗余量，从而加快训练过程中的收敛速度，并分析了 CodedFedL 的收敛率和迭代复杂度。

Nov, 2020

多项式码：高维编码矩阵乘法的最优设计

本研究提出了一种叫做 “多项式编码” 的计算策略，使用分布式系统（由主节点和多个工作节点组成）来进行大规模矩阵乘法计算，并通过利用编码理论的思想在工作节点上设计中间计算，以有效地处理延迟的工作节点，从而实现了恢复阈值的最优化，并在分布式卷积方面进行了扩展，以提高计算效率。

May, 2017

NeRCC：用于弹性分布式预测服务系统的嵌套回归编码计算

NeRCC 是一个适用于近似编码计算的抗拖尾策略框架，通过编码回归和采样、计算、解码回归和采样三个层次的工作，以及对两个正则化项的联合优化，在广泛的拖尾情况下精确近似了原始预测，超过了现有技术的最高 23%。

Feb, 2024

面向带延迟的服务器分布式计算的统一编码框架

本文介绍了一种针对分布式计算的编码框架，通过在某些线性计算任务中引入 “计算延迟” 和 “通信负载” 之间的权衡来解决延迟和通信负载问题，从而实现在延迟和负载之间取得权衡来执行分布式计算任务。

Sep, 2016

编码分布式优化的序列逼近框架

该研究提出了一种基于连续逼近的分布式计算框架，以解决优化问题，特别是针对最终价值计算过程中计算时间不相同（由于处理器延迟或者出错）的情况，其中矩阵 - 向量乘法的编码定理和优化方案也被探讨。

Oct, 2017

分布式学习中的滞后处理减轻随机梯度编码

本文提出了一种适用于随机拖延者的梯度编码方案（SGC），它通过一种成对平衡的设计将数据点冗余分配给工作人员，并忽略了拖延者，证明了 SGC 的收敛速度与批量随机梯度下降的收敛速度相匹配，并演示了设计中的冗余量如何改进收敛速度和处理大量拖延者。

May, 2019

稀疏随机图中的近似梯度编码

通过稀疏图构建的计算简单的渐变编码可以有效增强算法对滞后节点的鲁棒性。

Nov, 2017