统计学习理论下的实用性泛化与认识不确定性
统计学习理论是机器学习的基础,为从未知概率分布中学习的模型的风险提供了理论上的界限。然而,在实际应用中,数据分布可能会变化,导致领域适应 / 泛化问题。本文通过使用概率凸集(credal sets)模型化数据生成分布的可变性,为学习的 `credal' 理论奠定了基础,并推导了有限假设空间和无限模型空间的界限,直接扩展了传统结果。
Feb, 2024
本文提出了一种关于认知随机模糊集的普遍理论,用于处理模糊或清晰证据,并通过广义的乘积交集规则进行独立认知随机模糊集的组合,提出了用于量化标量或矢量量,即高斯随机模糊数和多维高斯随机模糊向量的实用模型,并为组合、投影和平凡扩展推导了高斯随机模糊数和向量的公式。
Feb, 2022
对于分布学习问题,我们研究了可学习性和鲁棒(或不可知)可学习性之间的关系,发现与其他学习设置(例如函数类的 PAC 学习)相反,概率分布类的可实现学习性并不意味着其不可知可学习性。我们进一步研究了什么样的数据损坏可以破坏分布类的可学习性以及该可学习性对于怎样的损坏是鲁棒的。结果表明,概率分布类的可实现学习性仅对加性损坏具有鲁棒性,而不具备对减性损坏的鲁棒性。我们还探索了与压缩方案和差分隐私可学习性相关的含义。
Jun, 2024
Bayesian inference 中的不确定性推断及其分解方法的研究。首次定义了测试数据和训练数据之间的敏感性,并扩展了 Bayesian meta-learning 的分析。
Jul, 2023
研究使用 Angluin 的精确学习模型从蕴含中学习可能性理论的可学习性问题,我们考虑只有成员资格、仅等价性和两种查询可以被学习者提出的情况。对于一大类问题,我们证明了经典逻辑的多项式时间可学习性结果可以转移到相应的可能性扩展中。特别是,由我们的结果可知,命题 Horn 理论的可能性扩展可以在多项式时间内准确地学习。由于精确模型的多项式时间可学习性可转化为在会员资格查询扩展中扩展的经典大概近似正确模型,因此我们的工作也在此模型中确立了这样的结果。
May, 2020
本文研究了基于经验似然和分布鲁棒解的方法进行随机优化问题的统计推断,特别关注最优值的置信区间和渐近达到精确覆盖的解决方案。我们提出了一个基于非参数 $f$- 分歧球构建的分布不确定性集合的广义经验似然框架,用于 Hadamard 可微函数和随机优化问题,从而提供了一个有原则的选择分布不确定性区域大小的方法,以实现达到精确覆盖的单侧和双侧置信区间。我们还给出了我们分布鲁棒的公式的渐近展开,表明如何通过方差来规范化问题。最后,我们证明了,我们研究的分布鲁棒公式的优化器具有与经典样本平均逼近中的优化器基本相同的一致性属性。我们的一般方法适用于快速混合的平稳序列,包括几何上遗传的 Harris 递归马尔科夫链。
Oct, 2016
本文分为两部分,第一部分研究了统计学习问题的可学习性和在线学习问题的泛化能力,使用稳定性和经典工具如 Rademacher 复杂度和覆盖数,发现一般学习环境下统一收敛理论无法检测可学习性,第二部分针对凸优化问题提出了适当的镜像下降更新以及 MD 算法在凸优化问题上的可行性研究,证明线性类的 fat-shattering 维度限制了预测问题的 oracle 复杂度。
Apr, 2012
本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型,使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集,通过估计数据漂移量建立了鲁棒性,并在多个基准数据集上进行了实验证明了该方法的重要性。
Aug, 2020
本文提出了两种策略,Klir 不确定性抽样和证据认知不确定性抽样,以降低模型的不确定性并扩展可减少的不确定性到证据框架,从而解决活跃学习中的探索 - 开发问题。
Sep, 2023
提出了基于合适评分规则(proper scoring rules)的新的测量方法,用于量化机器学习中的系统不确定性和认知不确定性,建立了不同不确定性表示之间的联系,并引入了新的认知和系统不确定性度量。
Apr, 2024