最小最大和通信效率分布式最佳子集选择算法

Aug, 2024

最小最大和通信效率分布式最佳子集选择算法

Minimax and Communication-Efficient Distributed Best Subset Selection with Oracle Property

Jingguo Lan, Hongmei Lin, Xueqin Wang

TL;DR本研究解决了传统分布式推断方法在高维数据集上难以实现真正稀疏性的问题。我们提出了一种新颖的两阶段分布式最佳子集选择算法，通过高效估计活动集并在其内进行精细估计，确保稀疏估计并匹配最小最大$\ell_2$误差界限。研究表明，该算法不仅能准确找到真实稀疏模式，还具有oracle性质，并显著降低了通信成本。

Abstract

The explosion of large-scale data in fields such as finance, e-commerce, and social media has outstripped the processing capabilities of single-machine systems, driving the need for distributed statistical inference methods. Traditional approaches to Distributed Inference often struggl

发现论文，激发创造

统计优化的通信高效算法

分析了两种用于大规模数据集的分布式统计优化的通信有效算法，一种是标准平均法，另一种是基于适当形式的自助子抽样的新算法，实验结果表明两种方法都有效地解决了中文 SoSo 搜索引擎的广告预测问题。

Sep, 2012

随机化的威力：大规模数据集上的分布式子模最大化

该论文提出了一个简单的分布式算法来解决在机器学习中的受限次模最大化问题，该算法可以并行运行并且提供可证明的常数近似保证，即使在单个机器上无法解决的问题也可以通过该算法高效地解决。

Feb, 2015

通过分布式数据处理不等式推导统计估计问题的通信下界

本文研究了高维分布统计估计问题的统计误差和通信成本之间的权衡，并提供了分布式稀疏高斯均值估计问题的紧密的权衡分析结果，这直接导致了分布式稀疏线性回归问题的下界，并给出了在稠密情况下均值估计的第一个最优同时协议。

Jun, 2015

L1正则化分布式优化: 一种高效的对偶原始框架

本篇论文提出一种基于分布式环境中的 L1 正则化优化问题的通信高效框架，通过将经典目标在更一般的原始对偶设定中进行观察，我们开发了一类新方法，能够有效地分布式和应用于常见的稀疏性诱导模型。

Dec, 2015

稀疏性下的高效分布式学习

提出了一种新颖、高效的分布式稀疏学习方法，可在高维度中随机分割观测数据，并在通信效率方面展现极佳的表现。

May, 2016

具因子图的分散高维贝叶斯优化

本文提出了一种新颖的去中心化高维贝叶斯优化算法（DEC-HBO），它利用各个输入组成部分在未知目标函数f的输出上产生的相互依赖关系提高贝叶斯优化（BO）算法性能，并在不需要先验知识或输入空间的低（有效）维度的情况下保持可扩展性。通过提出稀疏但丰富的因子图表示法，设计了一个能够通过分布式消息传递以去中心化方式进行高效优化的采样函数，以实现对f的富描述。实验表明，DEC-HBO算法优于现有BO算法。

Nov, 2017

单指数模型中最佳子集选择的一致可扩展算法

高维数据的分析引起了对单指数模型和最佳子集选择的日益关注，本文提出了第一个在高维单指数模型中具有可扩展性的证明可规模化的算法来进行最佳子集选择，该算法使用广义信息准则来确定回归系数的支持大小，消除模型选择调优。

Sep, 2023

分布式基于配对次模函数的大于内存子集选择

通过提出一种新颖的分布式界限算法，并使用多轮基于分区的分布式贪心算法，此论文解决了子集选择问题，能够在没有或极小损失质量的情况下，找到高质量的子集。

Feb, 2024

通过分布式平滑分位数估计进行快速网络数据选择

通过使用平滑技术，本文提出了一种加速方法，旨在解决网络规模的局部目标函数缺乏光滑性时导致的收敛速度慢和可扩展性差的问题，以实现具有分布式凸优化的多元集合下的前k个元素选择。

Jun, 2024

高维分布式稀疏分类与可扩展性高效的全局更新

在分布式训练模型中，我们通过优化替代似然函数在本地进行迭代改进解决了通信成本上的问题，特别是在处理大规模数据和稀疏性时的挑战，使我们能够有效地学习分布式 logistic 回归模型。

Jul, 2024