Jan, 2023

国际神经网络验证竞赛的前三年（VNN-COMP）

PDF
TL;DR该论文总结了 2020-2022 年国际神经网络验证大赛的前三届，介绍了参与者提交的软件工具的评估及结果，这些评估涉及涵盖图像分类、神经控制、强化学习和自主系统等多个任务类型中神经网络满足特定要求的能力，同时预计未来该领域的发展趋势。
发现论文，激发创造
  • 第三届神经网络验证大赛（VNN-COMP 2022）：概述与结果

    这篇文章总结了第三届国际神经网络验证竞赛（VNN-COMP 2022），它是第 5 届面向机器学习自主系统的形式方法研讨会（FoMLAS）的一部分，旨在促进当前最先进的神经网络验证工具的公平客观比较，鼓励工具接口的标准化，并聚集神经网络验证社区。在 2022 年的竞赛中，有 11 支团队参加了 12 个测评基准测试。

    Dec, 2022

  • 2021 年神经网络验证竞赛第二次国际比赛：总结和结果

    本文总结了第二届国际神经网络验证竞赛 (VNN-COMP 2021)，该竞赛的目标是比较神经网络验证领域最先进的方法在可扩展性和速度方面的表现，并介绍了比赛规则、基准、参赛工具、结果以及所学到的教训。

    Aug, 2021

  • 第四届神经网络验证国际比赛 （VNN-COMP 2023）：概述与结果

    该报告总结了第四届国际神经网络验证竞赛（VNN-COMP 2023），作为第六届机器学习驱动自主系统形式化方法研讨会（FoMLAS）的一部分，在第 35 届计算机辅助验证国际会议（CAV）上举行。VNN-COMP 是一年一度的活动，旨在促进最先进的神经网络验证工具的公平客观比较，鼓励工具接口的标准化，并汇集神经网络验证社区。本次竞赛中，制定了网络（ONNX）和规格（VNN-LIB）的标准化格式，使用基于 AWS 实例的自动评估流水线在等成本硬件上评估工具，并由参赛者选择工具参数，然后公开最终的测试集。在 2023 年的竞赛中，共有 7 个团队参与了 10 个有分数和 4 个无分数的多样化基准测试。本报告总结了本次竞赛的规则、基准测试、参赛工具、结果和经验教训。

    Dec, 2023

  • CVPR 2020 计算机视觉持续学习竞赛：方法，结果，当前挑战和未来方向

    本文介绍了计算机视觉中的连续学习问题，通过举办首届连续学习竞赛的方式，评估和对比不同算法的性能和适用性，并总结了赢得比赛的算法和未来的研究方向。

    Sep, 2020

  • NNV: 面向深度神经网络和学习增强型的网络物理系统的神经网络验证工具

    本文介绍神经网络验证（NNV）软件工具，该工具为深度神经网络（DNN）和学习启用的控制系统（CPS）提供了一套基于集合的验证框架。NNV 的核心是一组可达性算法，这些算法利用了多种集合表示，例如，多面体、恒星集、zono topes 和抽象域表示。

    Apr, 2020

  • 验证友好的深度神经网络

    提出了一种生成可验证的神经网络（VNNs）的新框架，该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡，使得生成的网络在预测性能方面与原始网络相当，并且可以进行验证，以更加高效地建立 VNNs 的强大性。

    Dec, 2023

  • 神经网络自动验证：进展、挑战和展望

    本文讨论了神经网络在安全和保密方面应用的局限性，提出了一些自动推理技术来提供神经网络性能的保障，并且对现有的神经网络自动验证方法进行了综合分类和阐述，同时讨论了存在的局限性以及未来研究的方向。

    May, 2018

  • 神经网络的增量验证

    该研究提出了一种基于新颖理论、数据结构和算法设计的增量和完全的 DNN 验证框架，旨在提高完全验证器在更新后的 DNN 上的验证效率。将其实现在名为 IVAN 的工具中，可以在 MNIST 和 CIFAR10 分类器上实现总体几何平均加速比为 2.4 倍，在 ACAS-XU 分类器上实现总体几何平均加速比为 3.8 倍。

    Apr, 2023

  • CheckINN：Imandra 中的宽范围神经网络验证（扩展版）

    本文介绍了如何使用 Imadra 编程语言和定理证明器来设计开发适用于神经网络验证的 CheckINN 库。

    Jul, 2022

  • 神经网络软件验证的简化 C 语言基准测试 NeuroCodeBench

    该研究论文介绍了一种用于神经网络代码验证的基准测试集 NeuroCodeBench，包含 32 个神经网络和 607 个安全属性，主要研究安全关键系统中的神经网络、验证和软件错误。

    Sep, 2023