在分布式网络中进行参数估计，考虑每个传感器从基础分布中观察独立样本并具有 $k$ 位通信其样本到集中式处理器，该处理器计算所需参数的估计值。我们为一类广泛的损失和分布模型开发极小化风险的下界，并表明在温和的正则条件下，当 $k$ 较小时，通信约束将使有效样本量减少 $d$ 倍，其中 $d$ 是被估计参数的维数。此惩罚随着 $k$ 的增加而以最多指数级别降低，这对某些模型如高维分布估计成立。对于其他模型，我们表明样本量的减少是与 $k$ 线性递减的，例如，当一些次高斯结构可用时。我们将结果应用于具有乘积 Bernoulli 模型、多项式模型、高斯位置模型和逻辑回归的分布式设置中，从而恢复或加强现有结果。

Feb, 2018

本文研究了高维分布统计估计问题的统计误差和通信成本之间的权衡，并提供了分布式稀疏高斯均值估计问题的紧密的权衡分析结果，这直接导致了分布式稀疏线性回归问题的下界，并给出了在稠密情况下均值估计的第一个最优同时协议。

Jun, 2015

研究如何在分布式网络中学习高维、非参数和结构化（如高斯）分布，并考虑不同通信模型（包括独立、顺序和黑板模型）的交互限制对于最小化风险和 Fisher 信息的影响。

Feb, 2019

本文针对分布式估计中存在通信约束的情况，使用信息理论等量化方法来推导出下边界，进而量化资源分配给多个处理器造成的估计性能下降。

Jul, 2016

该论文研究了在分布式样本中进行非参数回归的联邦学习，其中每个样本服务器都遵守不同的差分隐私约束。在考虑到不同服务器的变化样本大小和差分隐私约束的异构设置中，该论文同时考虑了全局和逐点估计，并建立了在 Besov 空间上的收敛最优速率。通过提出分布式隐私保护估计器并研究其风险性质，该论文还建立了匹配的极小下界，对于全局和逐点估计，在对数因子上与之相符。这些发现揭示了统计准确性与隐私保护之间的权衡，特别是在整个隐私框架中分发数据所带来的损失，除了隐私预算之外。这种洞察力捕捉到了在更大的样本中更容易保持隐私的民间智慧，并探索了在分布式隐私约束下逐点估计和全局估计之间的差异。

Jun, 2024

本研究采用分布式梯度下降来分析多智能体分散非参数回归，从精确损失函数的角度来研究学习性能，当 i.i.d 样本分配给智能体时，我们发现如果智能体拥有足够多的样本数量并且沟通延迟足够小，则分布式梯度下降在带最优统计速率的同时取得线性加速，并且其所需迭代次数与网络中所有样本一起运行的梯度下降具有相同数量级的迭代次数。

May, 2019

本文为研究局部隐私约束下的估计方案制定下限，推导出了私有估计和受通信限制的估计问题之间的等价性，适用于任意交互的隐私机制，并且得出了所有不同隐私保护级别的尖锐下限。作者作为对研究结果的一个重要推论，证明了有界或高斯随机向量的均值估计的最小最大均方误差按比例缩放的结论为 $d/n * d/min (ε,ε^2)$ 。

Feb, 2019

本论文提出了基于省通信的分布式算法来最小化整体经验损失，算法的迭代复杂度和通信效率针对自共轭经验损失函数进行了分析。

Jan, 2015

探索分布式学习中维度和沟通成本之间的关系，研究估计未知高维高斯分布均值的问题。同时，提出了一个基于阈值的协议，可在保证相同平方损失的前提下节省通信开销。

May, 2014

研究了在分布式学习中，如何在总通信次数亚线性的情况下通过镜像下降与随机稀疏化 / 量化迭代相结合的算法来实现线性模型的最优误差学习，从而探讨了高维环境下分布式学习的可行性。

Feb, 2019