感知机误差界
本文针对结构化凸优化问题,建立一个新的错误边界框架,并对常见的错误边界结果进行统一和透明的证明,此外,将其应用于核范数正则化损失最小化问题,并在严格补充型条件下建立了新的错误边界。
Dec, 2015
本文基于 CIFAR-10 数据集的实验结果,提出卷积神经网络泛化误差的边界,包含训练损失、参数数量、损失函数的 Lipschitz 常数和权重与初始值的距离,且不受输入像素数和隐藏特征图的高度与宽度限制,最后与具体的实验结果进行对比。
May, 2019
研究凸代理损失函数与二元分类问题中线性预测的分类误差率最小化之间的关系,发现在所有凸代理损失函数中,铰链损失提供了最佳的界限。同时,提供了特定凸代理损失的下界,显示常用损失函数之间的区别。
Jun, 2012
本文演示了量子计算如何提供感知器模型计算和统计复杂度的非平凡改进, 对感知器学习发展了两个量子算法,用于确定一个分离的超平面,并通过应用量子振幅扩大到感知器模型的版本空间诠释来实现准确度进一步的改进。
Feb, 2016
本研究提出一种新的框架,超越了传统统一收敛方法的限制,将排列不变预测器的交叉检验误差转化为高概率风险界,并通过 Haussler, Littlestone, 和 Warmuth 的一种算法在二元分类中实现了最优 PAC 界限。在多类分类、部分假设分类和实现有限的回归等三种不同场合中,我们证明了该框架的优越性能。
Apr, 2023
采用信息理论的视角探索深度神经网络在有监督分类中的理论基础,分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用,研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响,并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。
Jun, 2024
在一个在线的战略分类问题中,每个到达的代理可以操纵其真实特征向量以获得正面的预测标签,同时付出依赖于操纵量的成本。学习者在仅能访问操纵后的特征的情况下,试图预测代理的真实标签。之后学习者公布其预测,代理的真实标签被揭示。我们提供两种新算法,旨在在战略代理行为的情况下恢复最大边界分类器。我们证明了各种代理成本结构的收敛性、有限错误和有限操纵保证。我们还提供了针对不同成本的具有错误保证的战略感知器的广义版本。我们对真实数据和人工合成数据进行的数值研究表明,新算法在边界、操纵数量和错误数量方面优于以前的算法。
Mar, 2024
该研究通过实现 Neyman-Pearson 范例来处理二元分类的不对称误差,提出了一个可同时满足高概率下第一类错误概率低于预设水平和第二类错误概率接近最小可能值的分类器,并通过解决具有经验目标和经验约束的优化问题提出了可用于应对此类问题的新技术。
Feb, 2011