鲁棒性和泛化性
通过数据相关的广义界限,证明了健壮性意味着泛化。我们提出了几个例子,包括 Lasso 和深度学习,证明了我们的界限是明显优于以前的界限的。技术创新包括针对多项式随机变量的改进的浓缩界限。
Jun, 2022
研究三种不同强度的泛化理论 —— 稳健泛化、差分隐私和完美泛化的关系,并证明了每个假设类都可以在稳健泛化的情况下进行 PAC 学习,具有相近的样本复杂度。
Feb, 2016
探讨了算法稳定性作为分析学习算法泛化误差的可行框架的概念。引入了学习算法训练稳定性的新概念,并证明在一般情况下它足以得到泛化误差的好界。在 PAC 设置中,训练稳定性在可学习性上既是必要的也是充分的。基于训练稳定性的方法不涉及 VC 维或 VC 熵,不需要证明一致收敛,而广义 McDiarmid 不等式可直接限制泛化误差。因此,它可能使我们处理比经验风险最小化更广泛的学习算法类。还探讨了 VC 维、泛化误差和各种稳定性概念之间的关系,并考虑了几个学习算法的例子。
Dec, 2012
本研究探讨深度学习算法为何能很好地泛化,进一步提出了针对假设强度的鲁棒性方法 —— 集成鲁棒性,并发现只要随机算法对于对抗性扰动的敏感性受到训练样本均值的限制,它就能很好地泛化,而本文提供的大量模拟验证了集成鲁棒性和泛化能力之间的强相关性。
Feb, 2016
本研究提出了算法稳定性的概念,即我们称之为 “参数稳定性”,它捕捉从中选择假设的函数的规范空间中学习算法产生的假设的稳定性。 论文的主要结果在于以参数稳定性来限制任何学习算法的泛化误差。这些限制基于 Banach 空间中的鞅不等式。 我们将普遍限制应用于基于经验风险最小化和随机梯度下降的一些学习算法的性能边界。
Feb, 2017
本文提出一种基于局部弹性的弱稳定性概念,用以提供具有指数通用性限制条件的机器学习算法算法稳定性,比常见的分布无关的最坏损失情况敏感性更具参考价值,该概念在支持向量机、最小二乘回归和随机梯度下降等模型中具有受限制的情况下比统一稳定性提供更紧的泛化限制条件。
Oct, 2020
研究表明,数据驱动的算法设计可以显著提高性能,我们提供了一个推广的理论,用于推导性能的一般化保证,无论参数是如何调整的。该理论还暗示了计算生物学中的投票机制和动态规划算法的新界限。
Aug, 2019
本文提出了一种新的方法来证明算法稳定性,并且在此基础上给出了关于多次随机梯度下降和正则 ERM 的高概率泛化界,同时也解决了一些之前的开放性问题。
Feb, 2019