Jul, 2023

基于机器学习系统中的缺陷特征化

PDF
TL;DR在这篇论文中，我们调查了 ML-based 软件系统中的 bug 特征以及与非 ML bug 相比的维护视角的差异，我们提取了使用 TensorFlow、Keras 和 PyTorch 这三种最流行的 ML 框架的 447,948 个 GitHub 存储库，然后通过多次过滤选择了具有最多已关闭问题的前 300 个存储库，并通过对 386 个抽样报告的问题进行手动检查，我们的研究发现，近一半的 ML-based 系统中报告的真实问题是 ML bug，表明与非 ML 组件相比，ML 组件更容易出错，因此在 ML-based 系统中，关注 ML 组件的可靠性非常重要。
发现论文，激发创造
  • 开源机器学习项目中实际缺陷的比较分析 -- 一篇注册报告

    研究了机器学习系统和传统软件系统之间的问题报告需求和解决过程的差异，并通过 GitHub 上的应用机器学习项目中的真实问题报告，探究了机器学习问题和非机器学习问题的解决时间和代码修改量等方面的差异。

    Sep, 2022

  • PyTorch 内部错误的实证研究：一项复制研究

    通过研究 PyTorch 库的 bug 识别和修复过程，我们发现 PyTorch 的 bug 更像传统软件项目的 bug，而不是与深度学习特性有关的。同时，我们还将结果与对 TensorFlow 的研究进行了比较，突出了在 bug 识别和修复过程中的相似之处和差异之处。

    Jul, 2023

  • 机器学习软件系统中的质量问题

    本文旨在从实践者的角度研究机器学习软件系统中的质量问题，通过一系列采访和调研，我们创建了一个包含 18 个质量问题和 24 个解决策略的目录，这将有助于开发高效的质量保证工具。

    Jun, 2023

  • 应用机器学习分析软件质量测试

    本文利用机器学习对可用数据进行了操作并计算出了累计软件故障程度。应用机器学习预测软件的残余缺陷，以准确预测软件故障是本文的总体目标。

    May, 2023

  • 机器学习系统中的不匹配特征和检测

    本文研究了机器学习在软件系统中的应用，指出了机器学习开发和部署中的三个方面：数据科学、软件工程和运营，及其不当的假设可能导致系统失败，通过调查收集了一组共同的不匹配类型，并且发现每个角色对相关不匹配的重要性的优先级不同，这些发现将有助于提高机器学习能力的系统化发展。

    Mar, 2021

  • 了解机器学习系统中的复杂性及其对测试的影响

    通过对 Rasa 3.0 进行案例研究，本文采用了系统视角并分析其对测试的影响，揭示了机器学习系统视角下的软件工程实践问题。

    Jan, 2023

  • 研究机器学习软件测试实践

    我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

    Dec, 2023

  • 基于机器学习系统的威胁评估

    本研究通过分析 89 个真实的机器学习攻击情景，研究机器学习中的威胁特性、识别通用基本应对策略，最终总结出其中的最有针对性的漏洞、攻击手段及其防御方式，以共同为机器学习安全保驾护航。

    Jun, 2022

  • 深度学习库测试方法概述

    深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。

    Apr, 2024

  • 大语言模型时代的自动漏洞生成

    草案提出了 BugFarm，用于将任意代码转化为多个复杂的错误。BugFarm 利用 LLM（语言模型）在多个位置（难以修复）突变代码。为了确保多个修改不会显着改变代码的表示，BugFarm 分析了底层模型的注意力，并指示 LLMs 仅更改注意力最低的位置（难以检测）。我们对 BugFarm 生成的 320k + 错误进行了全面评估，这些错误是通过学习型错误预测方法难以检测到的，并且通过 SOTA（优秀的）学习型程序修复技术难以修复的。

    Oct, 2023