在分布式网络中进行参数估计，考虑每个传感器从基础分布中观察独立样本并具有 $k$ 位通信其样本到集中式处理器，该处理器计算所需参数的估计值。我们为一类广泛的损失和分布模型开发极小化风险的下界，并表明在温和的正则条件下，当 $k$ 较小时，通信约束将使有效样本量减少 $d$ 倍，其中 $d$ 是被估计参数的维数。此惩罚随着 $k$ 的增加而以最多指数级别降低，这对某些模型如高维分布估计成立。对于其他模型，我们表明样本量的减少是与 $k$ 线性递减的，例如，当一些次高斯结构可用时。我们将结果应用于具有乘积 Bernoulli 模型、多项式模型、高斯位置模型和逻辑回归的分布式设置中，从而恢复或加强现有结果。

Feb, 2018

本文研究了分布在多个机器上的数据的非参数平滑函数估计问题，其中每个机器上收集了来自白噪声模型的独立样本，并需要在中央机器上构建潜在真实函数的估计值以及在每台机器上限制了传输信息所需的比特数。我们给出了各种设置下统计风险的渐近下限和匹配上限，并且确定了三个不同的区别（通信预算 / 机器数 / 每台机器上可用数据大小），在这些区别中当通信预算很小时，统计风险仅取决于通信瓶颈，而与样本量无关；在通信预算很大的区域内，与非分布式估计的经典极小风险的情况相同；在一种中间机制中，统计风险取决于样本大小和通信预算。

Mar, 2018

本文提出了一种统一的框架，用于基于交互式协议的分布式参数估计，可以导出各种紧密下限，适用于不同的参数分布族；特别是在高斯家族的原型情况下，我们的方法可以规避以往技术的局限性，并补充了匹配的上限。

Oct, 2020

本文研究一个多个玩家协作下的信息收集与分析的协议，其中信息传输的通道对于推断过程和样本复杂度有着显著的影响，并通过引入卡方距离和其它量度以得出更为准确的样本复杂度下限。

Dec, 2018

本文针对分布式估计中存在通信约束的情况，使用信息理论等量化方法来推导出下边界，进而量化资源分配给多个处理器造成的估计性能下降。

Jul, 2016

探索分布式学习中维度和沟通成本之间的关系，研究估计未知高维高斯分布均值的问题。同时，提出了一个基于阈值的协议，可在保证相同平方损失的前提下节省通信开销。

May, 2014

本文研究了高维分布统计估计问题的统计误差和通信成本之间的权衡，并提供了分布式稀疏高斯均值估计问题的紧密的权衡分析结果，这直接导致了分布式稀疏线性回归问题的下界，并给出了在稠密情况下均值估计的第一个最优同时协议。

Jun, 2015

本文提出了一种联合训练和源编码方案，具有可验证的期望保证，通过在条件分布和先验之间施加适当的 Kullback-Leibler 散度约束，同时保证了小的平均经验风险（即训练损失），小的平均泛化误差和小的平均通信成本。

Jun, 2024

本文为研究局部隐私约束下的估计方案制定下限，推导出了私有估计和受通信限制的估计问题之间的等价性，适用于任意交互的隐私机制，并且得出了所有不同隐私保护级别的尖锐下限。作者作为对研究结果的一个重要推论，证明了有界或高斯随机向量的均值估计的最小最大均方误差按比例缩放的结论为 $d/n * d/min (ε,ε^2)$ 。

Feb, 2019

该研究提出了一种基于 Kashin 表示和随机抽样的方案以及利用 Walsh-Hadamard 矩阵的递归结构来实现隐私和通信效率的联合优化编码和解码机制，对平均值估计和频率估计等问题进行了研究。

Jul, 2020