本研究探讨了深度学习错误的可重现性，通过构建数据集、确定可重现性并识别编辑操作和有用信息，最终成功复现了 85 个深度学习错误并提出了十种编辑操作和五种有用信息类别，有效提高了错误的可重现性。

Jan, 2024

在这篇论文中，我们调查了 ML-based 软件系统中的 bug 特征以及与非 ML bug 相比的维护视角的差异，我们提取了使用 TensorFlow、Keras 和 PyTorch 这三种最流行的 ML 框架的 447,948 个 GitHub 存储库，然后通过多次过滤选择了具有最多已关闭问题的前 300 个存储库，并通过对 386 个抽样报告的问题进行手动检查，我们的研究发现，近一半的 ML-based 系统中报告的真实问题是 ML bug，表明与非 ML 组件相比，ML 组件更容易出错，因此在 ML-based 系统中，关注 ML 组件的可靠性非常重要。

Jul, 2023

深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。

Apr, 2024

本文研究了深度学习相关软件库的使用情况，以及它们在机器学习工作流程中的依赖关系，并提出了硬件构建者和软件库构建者的一些建议。研究基于 1484 个开源深度学习项目，发现深度学习库的使用趋势正在上升，目前使用最广泛的库组合为 pytorch 和 Scikit-learn，以及 Keras 和 TensorFlow。

Nov, 2022

确保机器学习框架的安全性和可靠性对于构建可信的基于人工智能的系统至关重要。我们提出了一个 Python 项目的动态分析流水线，使用 Sydr-Fuzz 工具集来实现模糊测试、语料库精简、崩溃分析和覆盖率收集，在 GitLab CI 中实现流水线集成，以发现和修复机器学习框架中的漏洞。

Mar, 2024

分析软件工程领域的软件错误预测是否存在与其他机器学习领域相似的可复现性问题，发现大部分研究文章缺乏关键的复现元素，呼吁改进研究实践以确保基于机器学习的研究的可复现性。

Feb, 2024

通过对 AI 软件系统中深度学习技术的脆弱性进行系统研究，我们提出了一个两流数据分析框架，探索各种数据库中的脆弱性模式，并进行了大规模实证研究来理解脆弱性的模式和修复中的挑战，以推进安全的深度学习系统的发展。

Jun, 2024

该研究分析了深度学习框架中的代码克隆现象的演化特征，包括长期演化趋势、短期克隆模式以及框架间的代码克隆。研究结果揭示了深度学习框架中存在四种不同的克隆演化趋势，并探讨了克隆对 bug 修复活动的影响。此外，研究还发现了不同框架之间存在功能和架构适应性的文件级别的代码克隆。研究结果为深度学习框架的可靠克隆实践和协同维护提供了启示。

Apr, 2024

通过挖掘 GitHub 上项目代码的变更历史记录，使用神经机器翻译技术进行修复漏洞的学习，设计并训练了一个 Encoder-Decoder 模型，可以在瞬间模仿各种不同的 AST 操作，并生成候选修复程序，可在实际环境中修复数以千计的独特故障方法，并预测出开发人员生成的固定补丁的 9-50%。

Dec, 2018

DeepDebug 是一种使用大型预训练变压器的自动调试方法，可通过训练反转的提交数据来生成人工合成缺陷，并通过将这些缺陷应用于功能测试，提供调试信息并改进模型的预训练，并在 QuixBugs 测试中取得良好成果。

May, 2021