分布式统计学习的引导模型聚合

NIPSJul, 2016

Bootstrap Model Aggregation for Distributed Statistical Learning

Jun Han, Qiang Liu

TL;DR本文提出两种方差降低方法对分布式、隐私保护学习中使用的基于自助法的方法进行改善，包括权重 M - 估计器等。进行了理论和实证分析以证明我们的方法。

Abstract

In distributed, or privacy-preserving learning, we are often given a set of probabilistic models estimated from different local repositories, and asked to combine them into a single model that gives efficient sta

distributed learning privacy-preserving learning probabilistic models variance reduction methods m-estimator

发现论文，激发创造

最优模型平均化：走向个性化协作学习

本文研究了加权模型平均对任意标量均值估计问题的影响，发现加权平均模型可以减少局部模型的期望平方误差，并量化了加权模型平均的（可能为负的）益处。这项研究正式确定了一种量化协作学习个性化价值的方法，并为未来多元参数估计和基于一系列假设的检验研究提供了框架。

Oct, 2021

统计优化的通信高效算法

分析了两种用于大规模数据集的分布式统计优化的通信有效算法，一种是标准平均法，另一种是基于适当形式的自助子抽样的新算法，实验结果表明两种方法都有效地解决了中文 SoSo 搜索引擎的广告预测问题。

Sep, 2012

分布式统计学习中平均化的最优性

研究大数据情况下的参数平均化方法在经验风险最小化中的应用，探讨了数据分割对估计误差的影响和高维情况下的表现，得出了适用于两种情况的渐进误差估计和精度和存储复杂度之间的权衡关系。

Jul, 2014

使用堆叠方法对贝叶斯预测分布进行平均

我们提出了一种基于预测分布的 Stacking 方法，利用 Pareto-smooth 重要性采样计算所需的单次观察后验分布和正则化以获得更好的稳定性，比较结果表明我们的方法在计算成本可接受的情况下优于其它方法。

Apr, 2017

基于多源数据的分布鲁棒机器学习

利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

Sep, 2023

可扩展贝叶斯加权自助法

本论文提出一种加权贝叶斯自助法（WBB）用于机器学习和统计学的不确定性量化，可通过对多维后验分布进行采样实现，计算速度快，可扩展性好，并对正则化回归、趋势滤波和深度学习等众多机器学习和统计模型进行了应用。

Mar, 2018

可扩展的去中心化在线个性化均值估计算法

该研究关注于代理人合作的均值估计问题，提出了两种协作均值估计算法，并建立了性能的理论描述和渐近最优估计条件。

Feb, 2024

大数据引导

本文提出了一种新的 BLB 算法，该算法融合了自助法和子采样的特点，以获得一种健壮、计算效率高的评估估计器质量的方法，适用于现代并行和分布式计算架构，保留了自助法的通用适用性、统计效率和有利的理论属性。

Jun, 2012

差分隐私分布式估计与学习

本文研究了分布式估计和学习问题。利用线性聚合方案和调整的随机化方案，通过交换信息，聚合数据并在保护个体隐私的前提下估计未知特征值。通过对一些例子的验证，证明该算法的高效性和性能保障。

Jun, 2023

使用分布式双均值在网络中指数级快速进行参数估计

本文提出了一种基于优化的分布参数估计和观察性社交学习方法，演示了如何使用分布式，在线的 Nesterov 双平均法解决纯粹依靠本地信息的估计，并证明了代理最终可以使用随机瓦解方案学习真实参数。

Sep, 2013