Fix-Con：深度学习模型转换的自动故障定位和修复

Dec, 2023

Fix-Con：深度学习模型转换的自动故障定位和修复

Fix-Con: Automatic Fault Localization and Repair of Deep Learning Model Conversions

Nikolaos Louloudakis, Perry Gibson, José Cano, Ajitha Rajan

TL;DR深度学习模型之间的框架转换是为了实现模型在设备之间的兼容性，并利用可能仅限于某个深度学习框架的优化功能。然而，此转换过程可能存在错误，导致转换后的模型要么无法部署，要么存在问题，严重影响其预测准确性。我们提出了一种自动化的故障定位和修复方法，Fix-Con，用于在深度学习框架之间进行模型转换时检测和修复所引入的故障，包括模型输入、参数、超参数和模型图。通过在数据集中的每个图像中比较源模型和转换目标模型的输出标签的差异，Fix-Con 定位潜在的转换故障，并进行适当的修复，例如用源模型的参数替换目标模型的参数。我们对经过四个不同深度学习框架转换的三个广泛使用的图像识别模型的模型转换错误进行了 Fix-Con 的有效性评估。总体而言，Fix-Con 能够完全修复或显著提高 15 个错误转换案例中的 14 个案例的性能。

Abstract

Converting deep learning models between frameworks is a common step to maximize model compatibility across devices and leverage optimization features that may be exclusively provided in one deep learning framewor

deep learning models model conversion fault localization fixing faults model compatibility

发现论文，激发创造

图像识别模型框架转换的故障定位

本文介绍了一种新的方法，旨在自动检测通过不同深度学习框架（如 TensorFlow 到 PyTorch）转换的预训练图像识别模型中的错误，并提出了一些修复策略

Jun, 2023

Detect-Localize-Repair: 使用 CodeT5 学习调试的统一框架

提出了一种基于预训练编程语言模型 CodeT5 的新型统一 “Detect-Localize-Repair” 框架 CodeT5-DLR，它包括三个目标，即 bug 检测、定位和程序修复，并在 Java 和 Python 的两个新收集的行级调试数据集上进行了评估。结果表明，该模型在 NLP 和软件工程领域的现有基线上显著优于其他机器学习方法。

Nov, 2022

ConFL: 机器学习框架的约束引导模糊测试

本文提出了基于约束的模糊测试 ConFL，利用约束自动提取输入约束并产生有效输入。实验结果表明，ConFL 比现有技术更有效，且发现了 TensorFlow，PyTorch 和 Paddle 中的许多未知漏洞。

Jul, 2023

基于变异的深度神经网络故障定位

深度神经网络的错误定位工具 deepmufl 在广泛的 DNN 模型中具有较好的有效性，并且可以在一半的错误定位时间内定位到高达 53/109 的错误位置，相比于静态和动态 DNN 错误定位系统具有更优的性能。

Sep, 2023

使用预训练 Transformer 生成错误修复

DeepDebug 是数据驱动的程序修复方法，其可以从 GitHub 代码库中挖掘的实际 Java 方法中学习检测和修复错误的方法。通过将错误修补构建为序列到序列的学习任务，它实现了两个步骤，即去噪预训练和有监督的微调。本方法显示出比以前的工作更好的异常检测能力，并且可以使用通用解析器进行语言无关的方法。

Apr, 2021

使用语言模型对脆弱测试修复类别进行黑盒预测

论文提出一种基于机器学习的框架，通过对测试代码进行分析并使用语言模型 CodeBERT 和 UniXcoder，训练模型以预测问题的修复类别，提供快速准确的修复支持。实验结果表明，UniXcoder 可以比 CodeBERT 更准确地预测开发者应该应用的大部分修复类别。

Jun, 2023

基于对比学习的深度神经网络故障注入攻击的检测与恢复

本文介绍了一种基于对比学习的 FIA 检测和恢复框架，该框架将对比学习应用于深度学习训练和推断过程中，以实现在 FIAs 下具有自我恢复能力的 DNN 推断引擎。经过 CIFAR-10 数据集上多种类型 FIAs 的评估，我们的 CFDR 框架显示出有希望的检测和恢复效果。

Jan, 2024

零开销的故障感知设计和训练以提高 DNN 的可靠性

本文提出一种针对深度神经网络在训练和模型设计时提高其可靠性的解决方案，旨在解决硬件故障导致对模型预测出现错误等问题。在研究中通过 DNN 重新设计、重新训练等方式，提出三种零附加成本的解决方案，可以在一定程度上提高 DNNs 对于瞬态故障的可靠性，并通过广泛的消融研究量化了每种硬化组件的性能提升。

May, 2022

使用生成卷积视觉转换器进行 Deepfake 视频检测

本文提出了一个名为 “GenConViT” 的模型，该模型结合了 ConvNeXt 和 Swin Transformer 模型进行特征提取，并利用自编码器和变分自编码器从潜在数据分布中进行学习，从而在检测各种深度伪造视频方面取得了较好的性能。GenConViT 模型的平均准确度为 95.8％，测试数据集上的 AUC 值为 99.3％，能够有效地解决深度伪造检测中的泛化性挑战。

Jul, 2023

利用卷积神经网络和迁移学习进行制造缺陷检测和分割

提出了一种基于掩膜区域卷积神经网络（Mask Region-based CNN）的系统，用于在 X 射线图像中识别铸造缺陷。该系统同时执行输入图像的缺陷检测和分割，并采用转移学习来减少训练数据需求并提高训练模型的预测准确性。

Aug, 2018