本文研究了机器学习分类技术的性能状况，尤其关注错误概率以指数速度逼近零的速度，分析了相应的条件及所依赖的训练数据集，给出了数值检验方法和错误概率曲线，证明了相关统计量的收敛性和分布规律。

Jul, 2022

采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。

Jun, 2024

探究在高维情况下对分类器的精度验证，证明一种基于排列组合的测试方法具有连续性及德克斯特拉极限分布的高斯近似测试也具有连续性，并以高斯分布为例进一步研究了线性判别分析和 Hotelling's 测试等方法的功率。

Feb, 2016

本文研究了社交机器学习框架中的错误概率，包括独立训练阶段和在图上进行合作决策阶段。针对两种有限观测的分类任务，我们描述了分布式学习规则并相应地分析了错误概率。针对统计分类问题，我们采用几何社交学习规则进行性能分析。针对单样本分类任务，我们建立了一个分布式学习规则作为集成分类器，并构建了该集成分类器的错误概率上界。

Jun, 2023

研究了 logistic regression 中特征子集 $p$ 在 $n$ 训练样本上训练线性分类器的模型，运用梯度下降 （GD）方法在逻辑损失上训练分类器。基于 GD 的隐式偏置，在高斯特征情况下揭示了相变现象，对最大似然（ML）解和最大边际（SVM）解的分类误差进行了锐利的表征，得到了分类误差曲线，并揭示了双峰现象。

Nov, 2019

本文研究了信息分裂函数在统计学和信息理论中的作用，并提出了一种新的非参数 f 分裂测量方法，可以用于改进最小二分法分类错误的上限，并设计了特征选择算法以验证理论上的结果。

Dec, 2014

通过暴露使用铰链损失训练的基于深度修正线性单元（ReLU）前馈神经网络（FNN）或深度 ReLU 和 Tanh 激活的 FNN 的二元分类器的基本测试性能限制，本文导出了它们各自的新颖渐近测试性能限制，并通过大量的计算机实验验证了这些导出的测试性能限制。

Sep, 2023

本研究提出了一种简单直接的贝叶斯误差估计方法，可用于评估分类器和检测测试集过拟合。我们的方法灵活且无模型和实例需求，甚至适用于弱监督数据。实验结果表明，最近提出的深度网络，如 Vision Transformer 等，已经或即将达到基准数据集的贝叶斯误差。最后，我们还讨论了如何通过估计 ICLR 论文的贝叶斯误差来研究科学文章的接受 / 拒绝决策的困难程度。

Feb, 2022

机器学习分类算法的性能通过评估混淆矩阵中的度量指标进行，但这并不能证明达到了最佳性能。通过使用信息距离测量，可以估计错误率的根本限制。混淆矩阵已经与 Chernoff-Stein 引理相结合，将错误率与描述两个类别的概率密度函数之间的 Kullback-Leibler 距离相关联。这导致了一个关键结果，将 Cohen's Kappa 与电阻器平均距离相关联，后者是两个 Kullback-Leibler 距离的并联电阻器组合。通过使用 kNN 估计 KullBack-Leibler 距离，从分类算法使用的相同训练数据对 Resistor Average Distance 进行估计，该距离以比特为单位。接下来，论文详细讨论了该理论和方法，并将其应用于蒙特卡洛数据和真实数据集。分析了四个非常不同的真实数据集 - 乳腺癌、冠心病、破产和粒子鉴别 - 其中包含连续值和离散值，并将它们的分类性能与预期的理论极限进行了比较。在所有情况下，这种分析表明由于两个类别的概率密度函数的底层特征，算法无法表现得更好。通过使用近似平衡的训练数据集来预测不平衡数据的算法性能，可以学到重要的教训。机器学习非常强大，但分类性能最终取决于数据的质量和变量与问题的相关性。

Mar, 2024

研究二层二值随机变量信念网络，其中条件概率 Pr [childlparents] 取决于父节点的加权和，证明使用大偏差理论可以计算许多感兴趣的概率的上下界，特别是证明作为网络大小函数的边际概率 Pr [children] 的精确度的收敛速率，证明适用于泛化传递函数参数化条件概率表的网络。

Jan, 2013