一种极小极大法用于监督学习
该研究分析了离散分布估计问题,并提供了最大风险和最小极小风险的上下界,进而得出在特定条件下最大风险极小风险的渐近性能。通过该研究可得出在经验分布估计中的渐近最大风险和最小极小风险,并且通过对概率分量估计确定了渐近最小极小风险。
Nov, 2014
在分布鲁棒学习中,我们引入了基于对抗性矩违规的新的极小极大目标,并展示了通过最小化该目标等效于最小化与真实条件期望的最坏情况下的 $l_2$ 距离,从而在计算成本上提供了大体量的经验性节省。
May, 2024
本文研究了极大熵和最小化最坏期望损失之间的密切关系,证明了这两个问题是对偶的,并提供了将一种问题的解用于另一种问题的方法,同时扩展了熵的一般定义,引入了分布差异的最小化概念并建立了相应的理论。
Oct, 2004
本研究针对离散分布 P 进行 n 个独立同分布样本的香农熵估计,使用逼近理论法进行估计,实现了在估计熵的最小二乘率方面的极致。通过采用自适应估计框架,该方法相对极小值优化估计方法在分布 P 的嵌套子序列上实现了最小二乘率的估计,从而进一步证明了估计在样本 n 的情况下是最优的,并且基本上相当于 MLE 使用 nlnn 个样本进行估计。
Feb, 2015
本文旨在解决半监督二分类集合聚合问题,以最小化在未标记数据上产生的预测损失,并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法,能像线性学习一样高效,但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式,将 Sigmoid 函数应用于集合边缘的概念,而不需要通常在基于边缘的学习中做出的假设。
Oct, 2015
本文提出了一种利用极小化最大条件熵原理从嘈杂的众包标签中推断出真实标签的独特概率标记模型,该模型考虑到了工人能力和项目难度等因素,并提出了客观测量原则验证。
Mar, 2015
提出一种将对抗学习问题转化为极小极大问题分析风险界的一般性方法,并应用于多类分类问题中的 SVM、深度神经网络和 PCA 等,为此提出了一种新的基于 Lipschitz 条件弱版本的覆盖数的风险界,并改进了包含两个依赖于数据的项的界,以实现对抗鲁棒性。
Nov, 2018
关于随机设计回归模型的统计学习研究,我们提出了一种聚合经验最小值的方法,并建立了其风险的尖锐 Oracle 不等式,进一步证明了在良好规定的模型下,统计估计和在错误规定的模型下的统计后悔的速率等价的结论。
Aug, 2013
针对离散分布函数的函数估计问题,利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明,MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度,且 Dirichlet 先验平滑技术不能达到最小化极值。
Jun, 2014