约束下的可能近似正确学习
本文提出利用经验对偶域学习解决受约束的统计学习问题,并使用一种实用的受约束学习算法,在社会、工业和医学领域中实现对学习的显式约束。我们在公平性和对抗鲁棒性方面的速率受限学习应用中说明了这一理论和算法。
Mar, 2021
本文提出了一种基于解释性约束的学习框架,利用统计学习理论分析了这种解释如何提高模型的学习效果。首先定义了一种叫做 EPAC 模型的概念,其中这些约束在新数据的期望中成立,然后通过传统学习理论工具对这类模型进行了分析,并对一类梯度信息进行了限制,最后提出了一种基于变分逼近的算法来实现这种框架,并在大量实验中展示了其优越性。
Mar, 2023
本文提出了一种弹性约束学习方法,通过权衡性能增益和放宽约束的成本来自适应调整要求,解决了在机器学习任务中面对多个要求的问题,例如公平性、鲁棒性、安全性等;同时,作者在图像分类与异构联邦学习任务上展示了该方法的优势。
Jun, 2023
本文提出了一种参数化 PAC 学习理论,通过该理论可对 CNF、DNF 和图形学习等问题的可行性边界进行更精细的界定,并发展了机器学习领域的参数化固定参数学习的概念。
Apr, 2023
用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架,学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能,基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性,我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性,提供了一个具体算法实现和学习优化的新方法,并进行了四个实际相关的实验来支持我们的理论,展示出该学习框架使得优化算法的性能有了数个数量级的改进。
Apr, 2024
本研究提出了关于深度学习的泛化误差的准则,介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差,并进行了广泛实证分析以评估该方法的效果和特性。
Dec, 2020
定义可计算的计算度量空间上二元分类的可计算 PAC 学习,提供解决 ERM 学习器可计算性的充分条件,限制 ERM 学习器的 Weihrauch 度,展示一种假设类,尽管底层类具有 PAC 可学性,但它不允许具有可计算采样函数的任何适当的可计算 PAC 学习器。
Nov, 2021
研究一种协作 PAC 学习的变体,旨在学习每个数据分布的准确分类器,同时最小化从这些数据分布中所抽取的样本数总量。给出基于经验风险最小化算法的学习方法,并且分析依赖于增强的假设类的 VC 维度的上界。在计算效率方面,证明了在一般情况下,基于增强的假设类的 ERM 是 NP 难的,为不存在计算效率高的学习器提供了依据,但对于两种特殊情况,给出了既有样本效率又有计算效率的学习器。
Feb, 2024
此文介绍了使用多智能体认知逻辑演示 PAC 学习的技术基础,涉及逻辑和弱推理,以提供强大的模型理论框架来回答查询,并研究了该算法的正确性、样本复杂性以及其能够高效的情况,利用表述定理将模态推理纳入命题推理中。
Jun, 2023