Apr, 2024

MinMax 采样和分布式聚合的偏差估计器

PDF
TL;DRMinMax 采样是一种降采样实向量的技术，旨在最小化所有向量分量上的最大方差。本研究提出一种有偏的 MinMax 估算方案 (B-MinMax)，通过增加估算偏差来减小方差。当无聚合时，B-MinMax 的均方差严格低于无偏的 MinMax 估计器；当需要聚合时，在样本量较小或聚合向量数目有限时，B-MinMax 较为优选。实验证明，在实际应用中，该方法可以大幅降低 MinMax 采样的均方差。
minmax samplingdownsamplingvarianceestimation schemeaggregation
发现论文，激发创造
  • 最小 - 最大公平的主动采样

    使用简单的主动采样和加权策略来优化任何分类或回归模型的最小 - 最大公平性，重点在于使用最不利的数据点来更新模型， 适用于凸学习问题，即线性或逻辑回归，并证明收敛速度。

    Jun, 2020

  • Maxmin Q-learning：控制 Q-learning 的估计偏差

    本文提出 Maxmin Q-learning 算法来减少 Q-learning 中过高估计值的偏置，为了对偏置进行更好的控制，提出了一个可以灵活控制的参数，并经过实验证实了该算法在控制估计偏差方面更为有效，并在多个基准问题上实现了卓越的性能

    Feb, 2020

  • 自适应熵估计

    本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计，使用逼近理论法进行估计，实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架，该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计，从而进一步证明了估计在样本 n 的情况下是最优的，并且基本上相当于 MLE 使用 nlnn 个样本进行估计。

    Feb, 2015

  • 有限通信下的分布式均值估计

    研究低通信成本的分布式平均估计的通信高效算法，实现数据的结构化随机旋转和编码策略，并在 k-means 和 PCA 的分布式算法中应用。

    Nov, 2016

  • 随机梯度提升中的最小方差抽样

    本文通过优化随机梯度增强（SGB）各节点采样的概率，提出了一种新的迭代加速技术 Minimal Variance Sampling (MVS)。该方法不仅能够减少每次迭代所需样本数，而且还能够显著提高模型的质量，因此提出 MVS 为新的默认选项，用于 CatBoost 这一基于梯度增强的机器学习库中。

    Oct, 2019

  • 估计最大期望值：（嵌套）交叉验证和最大样本平均值的分析

    研究通用的随机变量最大期望值的两种常见估计量的准确性：最大样本平均值的一般化和交叉验证。通过研究和限定上述估计量的偏差和方差，并证明了其一致性。交叉验证的方差可以显著减小，但风险是引入大偏差；交叉验证不同变体的偏差和方差因问题而异，选择错误可能导致估计结果不准确。

    Feb, 2013

  • 分布式学习专家混合模型

    提出了一种分布式学习方法，用于构建一个由本地估计器并行拟合数据子集所组成的大的混合专家模型，通过最小化期望的运输散度来聚合这些本地估计器，并通过提出的主导 - 最小化算法来构造一种计算规模高效的降维估计器。对实验中的统计和数值属性进行了研究，证明了所提供的降维估计器的性能优于从完整数据集中以集中方式构造的全局估计器，有些情况下计算时间比全局估计器快十倍以上，我们的源代码公开在 Github 上。

    Dec, 2023

  • 统计优化的通信高效算法

    分析了两种用于大规模数据集的分布式统计优化的通信有效算法，一种是标准平均法，另一种是基于适当形式的自助子抽样的新算法，实验结果表明两种方法都有效地解决了中文 SoSo 搜索引擎的广告预测问题。

    Sep, 2012

  • 分布式统计学习的引导模型聚合

    本文提出两种方差降低方法对分布式、隐私保护学习中使用的基于自助法的方法进行改善，包括权重 M - 估计器等。进行了理论和实证分析以证明我们的方法。

    Jul, 2016

  • 一种基于最大范数约束的一比特矩阵补全极小化方法

    本研究探讨使用 max-norm 作为秩的凸松弛下，基于一般非均匀采样分布的噪声 1-bit 矩阵补全问题，并引入了 max-norm 约束的极大似然估计，并使用信息论方法建立了最优速率的极小极大下限，并讨论了计算算法和数值性能。

    Sep, 2013