AAAIFeb, 2024

逻辑回归的可证明准确性随机抽样算法

PDF
TL;DR在统计学和机器学习领域，逻辑回归是一种广泛应用于二分类任务的监督学习技术。本研究提出一种基于随机抽样的简单算法，针对逻辑回归问题，确保对模型的预测概率和整体差异都能得到高质量的近似。研究分析了当采用杠杆得分对观测数据进行抽样时，逻辑回归的预测概率的属性，并证明可以通过样本规模远小于总观测数据量来实现准确的近似。通过全面的实证评估验证了我们的理论发现，研究为在大规模数据集上高效近似逻辑回归的预测概率提供了实用和计算高效的解决方案。
发现论文，激发创造
  • 大样本逻辑回归的最优子采样

    本文提出了一种针对逻辑回归模型的快速子抽样算法，利用优化方法降低计算时间，通过理论和实验分析验证其性能。

    Feb, 2017

  • 高维逻辑回归现代极大似然理论

    本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

    Mar, 2018

  • 逻辑回归估计的样本复杂度

    透过研究样本复杂度，我们发现逻辑回归模型的参数估计受到维数和逆温度的影响，其样本复杂度曲线在逆温度上具有两个临界点，明确地分割低、中、高温度区间。

    Jul, 2023

  • 最优子样本逻辑回归更高效的估计

    本文提出了一个基于子样本的改进逻辑回归估计方法，通过使用 2018 年 Wang 等人提出的最优子采样概率。无论是渐近结果还是数值结果都说明新的估计量具有更高的估计效率。我们还提出了一种基于泊松子采样的新算法，该算法不需要一次性近似最优子采样概率，避免了计算问题，并且当随机存储器的可用空间不足以存储全部数据时有计算优势。如果采样速率（子样本大小与全部数据样本大小的比例）不收敛于零，渐近分布表明泊松子采样可以产生更高效的估计量。我们进一步使用一个初始估计器来校正未加权估计器的偏差。我们还证明，即使初始估计器是不一致的，如果模型是正确的，则会产生一致和渐近正常的结果估计量。

    Feb, 2018

  • 矩阵近似的均匀采样

    通过简单的迭代行抽样算法和加权少数行使每个矩阵的相干度低，我们能够使用随机抽取行的方式进行矩阵近似，以大大提高数据处理速度。

    Aug, 2014

  • 线性回归实用鲁棒性审计探讨

    探讨了在普通最小二乘回归中，找到或推翻删除数据集中的小子集会反转系数符号的实用算法；通过实证研究了用于此任务的成熟算法技术在一般线性回归问题和特殊情况下的精确贪婪方法方面的性能，证明这些方法在几个维度的回归问题中优于现有技术并提供了实用的鲁棒性检查；但对于维度为 3 或更高的回归问题中推翻这种小型影响样本存在性的重要任务仍存在显著的计算瓶颈；通过使用源自算法稳健统计的最新创新思想的谱算法在这一挑战中取得了一些进展；总结了在几个挑战数据集中，已知技术的限制，以促进进一步的算法创新。

    Jul, 2023

  • 逻辑回归主动学习的基准和比较

    本文介绍了最常用的分类器之一 - 逻辑回归的主要应用和性能，比较了不同的主动学习方法在准确性和计算成本方面的表现，并且发现最简单和最早期的主动学习方法 - 不确定性采样，表现优越。

    Nov, 2016

  • 算法协同作用的统计视角

    本文在大数据集上提出了算法杠杆效应的采样方法，通过样本采集分布来提高算法的计算效率，并在固定预测因子的线性回归模型中，提出了一种简单有效的框架来评估算法杠杆的统计性能。其结果表明核心的采样方法的统计性能既不会因为采用杠杆采样而主导也不会因采用均匀采样而优于杠杆采样，但其在最坏分析情况下，杠杆采样与均匀采样相比都能提供更好的结果。在理论性能基础上，本文提出并分析了两种新的杠杆算法，并在合成和真实数据集上进行了详细的实证评估。

    Jun, 2013

  • 高维正则化回归中的自举和子抽样分析

    研究使用重新采样方法估计统计模型的不确定性，探讨其在高维监督回归任务中的性能，特别关注广义线性模型和过参数化区域下的预测一致性与可靠性。

    Feb, 2024

  • 核心集学习现实检查

    本文对来自于 coreset 和 optimal subsampling 文献的多个 logistic regression 方法进行了直接比较，并发现了它们有效性上的不一致性，很多情况下这些方法都没有超过简单的均匀抽样。

    Jan, 2023