Jul, 2022

基于机器学习的统计假设检验：大偏差分析

PDF
TL;DR本文研究了机器学习分类技术的性能状况，尤其关注错误概率以指数速度逼近零的速度，分析了相应的条件及所依赖的训练数据集，给出了数值检验方法和错误概率曲线，证明了相关统计量的收敛性和分布规律。
发现论文，激发创造
  • 机器学习系统分类性能分析的大偏差

    研究机器学习二分类技术的性能，使用基于基于数据驱动的决策函数（D3F）的统计测试，根据大偏差理论表明在适当的条件下，分类错误概率随着可用于测试的观测数量呈指数形式消失，并提出了两个不同的近似误差概率曲线的方法，并根据 MNIST 数据集测试了理论发现。

    Jan, 2023

  • 作为双样本检验代理的分类准确性

    探究在高维情况下对分类器的精度验证，证明一种基于排列组合的测试方法具有连续性及德克斯特拉极限分布的高斯近似测试也具有连续性，并以高斯分布为例进一步研究了线性判别分析和 Hotelling's 测试等方法的功率。

    Feb, 2016

  • 小样本通用假设检验的广义误差指数

    本文研究小样本通用假设检验问题，提出基于大偏差分析的广义误差指数性能准则，并通过一些结论表明，这一方法优于渐近一致性或中心极限定理分析。

    Apr, 2012

  • 一般化误差的平均场分析

    通过对概率测度空间进行微分计算的视角，我们提出了一个探索算法的弱广义误差和 $L_2$ 广义误差的新框架。具体而言，我们考虑 KL - 正则化的经验风险最小化问题，并建立了通用条件，使得在训练样本大小为 n 的情况下，广义误差的收敛速率是 $O (1/n)$。在一隐藏层神经网络的平均场区域的监督学习方面，这些条件反映在对损失和激活函数的适当可积性和正则性假设中。

    Jun, 2023

  • 有限数据下社交机器学习的非渐进性能

    本文研究了社交机器学习框架中的错误概率，包括独立训练阶段和在图上进行合作决策阶段。针对两种有限观测的分类任务，我们描述了分布式学习规则并相应地分析了错误概率。针对统计分类问题，我们采用几何社交学习规则进行性能分析。针对单样本分类任务，我们建立了一个分布式学习规则作为集成分类器，并构建了该集成分类器的错误概率上界。

    Jun, 2023

  • 基于机器学习的随机动力学系统大偏差前因子计算

    本文介绍了大偏差理论，通过机器学习和神经网络计算大偏差前缀、准位势和最可能路径来精确预测随机动力系统中的罕见事件，成功实现对此内部机制的探索。

    Jun, 2023

  • 监督分类的信息论视角下的误差边界

    采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。

    Jun, 2024

  • 高维逻辑回归现代极大似然理论

    本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

    Mar, 2018

  • 通过 Rényi、$f$-Divergences 和最大泄漏实现的广义误差界限

    本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率，并在自适应数据分析和学习理论中应用，其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法，并将最大泄密量作为特例进行了研究。

    Dec, 2019

  • 随机梯度方法的测试误差的指数收敛

    本研究研究了具有正定核和平方误差的二元分类问题，并研究了随机梯度方法的收敛速度。结果表明，当假设低噪声条件时，测试误差（分类误差）以指数速度收敛，而过量测试损失（平方损失）随着观测值的数量而慢慢收敛到零。

    Dec, 2017