本文提出了一种新的构造方法，可以将任何收缩压缩器转化为感应无偏压缩器，从而大大减少了内存要求，提高了通信复杂性保证和使用的方法，特别是在对合同收缩压缩器进行处理时，相对错误反馈（EF）有更好的理论和实践效果。

Jun, 2020

本文提出了一种统一的分析分布式 SGD 各种变体的方法，涵盖了不同的量化 SGD、误差补偿 SGD 和延迟更新 SGD 变体，并通过一个定理推导了其所有方法的复杂度结果。在此基础上，我们开发了 16 种新的方法，其中包括第一种基于误差反馈和梯度差分量化的 EC-SGD-DIANA 方法和第一种具有误差反馈和方差缩减的分布式随机方法 EC-LSVRG-DIANA。

Oct, 2020

研究了分布式训练中常用的错误反馈机制的不足，并提出一种新的错误反馈机制 EF21，其在光滑非凸问题上具有快速 O（1/ T）的收敛率，是目前非依赖于无偏压缩器的 EF 类型方法的第一个线性收敛结果。该方法应用广泛，能够有效提高分布式学习的通信效率。

Jun, 2021

本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。

Oct, 2021

本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

Sep, 2020

本文提出了一种新的方法 —— 学习具有鲁棒性的局部线性可控嵌入（RCE）模型，该模型可以直接估计给定当前观测下未来观测的预测条件密度，并引入瓶颈结构使得模型动力学具有鲁棒的可线性化特性，同时提出了一种有原则的变分近似方法，使得变分近似更加鲁棒。实验结果表明，与 Embed-to-Control（E2C）模型相比，RCE 模型具有更好的鲁棒性和预测性能，尤其在系统动力学存在噪声的情况下表现显著。

Oct, 2017

本文研究了分布式代理网络解决回归问题的性能及其在通信约束下的自适应能力，采用 ACTC 扩散策略，在邻居代理之间交换的信号中使用随机差分压缩算子进行编码。提供了均方估计误差的详细特征描述，揭示了压缩损失与分布式回归问题的基本属性之间的定量关系，以及优化资源分配的重要性，提出了在线学习的优化参数分配策略，并给出实例验证。

Apr, 2023

提出了一种名为收缩误差反馈（ConEF）的通信高效方法，通过利用有偏差和可全局聚合的梯度压缩实现通信效率，并在各种学习任务中对 ConEF 进行了经验证实，节省了 EFSGD 中 80％-90％的额外内存，同时实现了 1.3x-5x 的 SDG 加速。

Dec, 2023

本篇论文介绍了一种分布式学习算法，通过采用压缩梯度和梯度阈值等方法，减少了拜占庭故障的影响，并提高了通信效率，以达到优化分布式机器学习的目的。

Nov, 2019

本文提出了一种新的信息论政策评估技术，该技术将任何压缩或密度模型转化为相应的值估计，研究了该技术在 Atari 2600 视频游戏中的应用，发现该技术提供足够准确的价值估计来有效地进行政策控制，并指出该技术在规模化问题上具有潜在的应用前景。

Nov, 2014