基于语义的神经网络修复
该研究探讨了神经网络的编辑问题,提出了 Editable Training,这是一种模型无关的训练技术,以便快速修补模型的错误,并在大规模图像分类和机器翻译任务中进行了实证研究。
Apr, 2020
提出了一种通过使用 SMT 求解器修复有关安全规范的不安全神经网络,以防止对抗攻击,并且通过修改少量的权重值来寻找新的安全神经网络表示,从而最大限度地保持决策边界相似性,同时保证只有轻微的准确度损失,证明了该方法的实用性。
Jul, 2022
深度神经网络在学术界和工业界越来越普遍,在各个领域和相关任务上与人类的表现相媲美甚至超越。然而,即使是最大的人工神经网络也会出错,随着时间的推移,曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本,可以解决这个问题。然而,灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战,通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠,并且与大规模自监督预训练的现行趋势不兼容,因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求,知识编辑作为一个新颖的研究领域正在兴起,旨在实现对预训练目标模型的可靠、数据高效和快速的变化,而不影响先前学到的任务上的模型行为。在本综述中,我们对这个最新的人工智能研究领域进行了简要回顾。首先,我们介绍了神经网络编辑的问题,在一个共同框架中对其进行了形式化,并将其与连续学习等更有名的研究分支进行了区分。接下来,我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾,并将这些工作分为四个不同的类别:正则化技术、元学习、直接模型编辑和架构策略。最后,我们概述了与其他研究领域的一些交叉点和未来的潜在方向。
Oct, 2023
提出了一种基于因果推理的神经网络修复技术 CARE,该技术可以有效地修复神经网络,使其满足公平性、安全性等性质,平均提高了 61.91% 的公平性,并将攻击成功率从 98% 以上降至 1% 以下。
Apr, 2022
本文提出了可证明修复问题,即在发现不安全行为后修复神经网络 (DNN) 的问题,并介绍了可用于有限点和凸多面体等安全规范的 Provable Point 和 Provable Polytope 修复算法,以及 Decoupled DNN 结构,它允许将可证明修复减少至线性规划问题。实验结果证明了我们的算法在各种具有挑战性的任务中的有效性和效率。
Apr, 2021
该论文提出了一种修复缺陷深度神经网络的框架,BIRDNN,它结合了重新训练和微调的方法,通过模拟期望行为和分析错误行为的关键神经元来修复错误的预测,并且具有更高的效率和兼容性。
May, 2023
下一代 AI 系统需要强有力的安全保证。本报告研究了神经网络和相关内存安全性质的软件实现,包括空指针引用、越界访问、double-free 和内存泄漏。我们旨在检测这些漏洞,并借助大型语言模型自动修复它们。为此,我们首先通过程序突变的自动化过程,将现有的神经网络代码数据集 NeuroCodeBench 的规模扩大到约 81k 个程序。然后,我们使用最先进的软件验证器 ESBMC 验证突变的神经网络实现的内存安全性。每当 ESBMC 发现漏洞时,我们会调用一个大型语言模型来修复源代码。在最新的任务中,我们比较了各种最先进的提示工程技术,以及重复调用大型语言模型的迭代方法的性能。
May, 2024
本研究致力于为神经网络框架(如 TensorFlow)提供正确性规范,通过逻辑编程语言 Prolog 将几乎所有 TensorFlow 层的语义进行了说明,并演示了两种应用程序。
Feb, 2022