安全机器学习通过嵌入过度近似
该研究针对分类器的脆弱性进行讨论,提出 Cross-Lipschitz 正则化函数可提高分类器对抗攻击的鲁棒性,并给出了实例具体的下界。在不影响分类性能的情况下,使用该正则化函数可以提高核方法和神经网络的鲁棒性。
May, 2017
本文提出了一种有效的方法来严格检查神经网络的不同安全属性,可以检查不同的安全属性并找到具体的反例,比现有方法的性能提高了数个数量级,这种方法也有助于提高神经网络的可解释性并指导训练更加稳健的神经网络。
Sep, 2018
本文介绍在神经网络验证中如何利用凸松弛来证明一系列比较丰富的非线性规约,包括物理系统学习到的动力学模型的能量守恒,分类器的输出标签在对抗性扰动下的语义一致性以及预测手写数字求和的系统所包含的误差等,实验验证了该方法的有效性。
Feb, 2019
本文提出了一种新的神经网络学习框架,该框架通过集成基于优化算法的抽象精炼循环并在动态构建的具有准确性和安全性目标的输入空间的分区上操作,实现训练可证明正确的机器学习网络的目标。通过实现我们的方法并将其应用于强制执行ACAS Xu数据集和碰撞检测数据集的一般安全属性,我们证明实现安全不会以很多精度的代价为代价,关键在于采用一个抽象精炼方法对于构建准确和正确的机器学习网络提供了一条有意义的路径。
Jul, 2019
本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法,可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战,且可以和任何分类模型结合使用并保证有效性。
Apr, 2020
本文解决了使用神经网络和符号人工编写代码生成neurosymbolic程序的最坏情况安全参数的学习问题。采用Differentiable Symbolic Execution方法,通过generalization of the REINFORCE estimator进行反向传播控制流梳理worst-case 'safety losses'的梯度从而改进了现有的基于梯度的安全学习方法,实验结果表明,DSE方法在这些任务中明显优于最先进的DiffAI方法。
Mar, 2022
现代应用越来越依赖于机器学习模型,其非确定性行为影响着从设计到操作的整个应用程序生命周期。这篇论文提出了一种基于动态分类器选择的多模型方法,它通过持续评估和替换模型来保证机器学习应用的稳定非功能行为,特别关注公平性的非功能属性。
Nov, 2023
现代机器学习流程利用大量公开数据,导致无法保证数据质量,使得模型容易遭受中毒和后门攻击。本论文提出了一个框架,首次提供了有关使用潜在操纵数据进行训练的模型行为的可证明保证。该框架通过使用凸松弛来近似计算可能的参数更新集合,限制了任何梯度下降学习算法的所有可达参数集合,并提供模型性能和后门成功率的最坏情况行为的界限。该方法在能源消耗、医学成像和自动驾驶等应用的多个真实世界数据集上进行了演示。
Jun, 2024
本研究解决了机器学习系统在面对分布转变和对抗攻击时缺乏可靠性的难题。通过结合神经网络学习能力和符号系统推理能力,提出了一种新的神经符号符合预测技术,为机器学习的输出提供理论保证。研究表明,这种方法不仅增加了预测的可信性,还确保了真实标签在置信集中的存在性,从而推动了信任AI系统的发展。
Sep, 2024