通过有限族可扩展分类器的概率安全区域
通过引入得分函数的新定义和定义一组特殊的输入变量(conformal safety set),我们分析了可扩展分类器和一致预测之间的相似性,该安全集能够识别满足误差覆盖保证的输入空间模式,即在该集合中,观察到错误(可能不安全)标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击,我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。
Mar, 2024
在这篇论文中,我们提出了一种安全学习算法,通过使用 Nadaraya-Watson 估计器而不是高斯过程,提供概率安全保证,并且在数据点数量方面实现对数级别的扩展。我们为估计结果提供了理论保证,将其嵌入到一个安全学习算法中,并在模拟的七自由度机器人操纵器上进行了数值实验。
Sep, 2023
在实际部署中的机器学习算法时,确保安全是一项重要的资产。现有的安全学习方法通常考虑连续变量,即回归任务。然而,在实践中,机器人系统还受到离散的、外部的环境变化的影响,例如必须携带一定重量的物体或在冻结、潮湿或干燥的表面上操作。这些影响可以建模为离散的上下文变量。在现有的文献中,如果考虑了这些上下文,大多数情况下是假设为已知的。在这项工作中,我们放弃了这个假设,并展示了当我们不能直接测量上下文变量时如何进行安全学习。为了实现这一点,我们针对多类分类导出了频率学派的保证,允许我们从测量中估计当前的上下文。此外,我们提出了一种通过实验识别上下文的方法。我们讨论了在哪些条件下我们能保留理论保证,并通过使用不同权重的相机测量的 Furuta 摆作为上下文对我们的算法的适用性进行了演示。
Jan, 2024
通过使用障碍证明方法,结合高斯过程回归,本文介绍了一种从具备未知动力学的随机系统数据中鉴定出一组最大安全策略的方法。通过学习系统动力学并得到该预估的概率误差,我们开发了一种算法来构建分段随机障碍函数,从而利用学习到的高斯过程模型找到一组最大允许的策略集,该集合通过有序地剔除最糟糕的控制策略直至得到最大集合,保证了真实系统的概率安全性。这对于学习能力系统而言尤为重要,因为丰富的策略空间不仅可以增加数据采集,还能保持安全性并展现复杂行为。线性和非线性系统的案例研究表明,扩大用于学习系统的数据集大小能够增加最大允许的策略集。
Apr, 2024
本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法,这种方法能够提供简单、分布自由和严密的误差控制,适用于多个任务,如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测,还有拓展探讨。
Jan, 2021
从条件概率估计(概率预测)生成信心区预测的简单技术用于标准机器学习算法在 15 个多类数据集上的测试,结果显示约 44%的实验展示了良好校准的信心区预测,其中最近邻算法在所有数据上表现出色,这证明了有效信心区预测在医学诊断方面的实际益处。
May, 2024
本文提出了一种基于学习的模型预测控制方案,其可以提供可证明的高概率安全保证,并利用正态分布先验的规则性假设来构建可证明准确的置信区间,保证轨迹满足安全约束,通过终端集约束递归地保证每个迭代中存在安全控制动作。在实验中展现了该算法可以用来安全、高效地探索和学习动态系统。
Mar, 2018
机器学习算法在实际应用中发展日益复杂,特别是在医学和工程等高风险应用中使用机器学习技术时,预测模型的失败概率至关重要。我们提出了风险评估任务,并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题,该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质,我们证明了所提方法的近似失败概率是保守的,不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性,并重点研究了不同建模方案、数据集大小和符合预测方法学。
Oct, 2023