一种差分测试框架用于评估图像识别模型的鲁棒性
本文介绍了一种新的方法，旨在自动检测通过不同深度学习框架（如 TensorFlow 到 PyTorch）转换的预训练图像识别模型中的错误，并提出了一些修复策略
Jun, 2023
本文提出了一种基于 MQTT 协议的轻量级接口框架，可用于测量目标检测性能、运行时间和能量效率，特别适用于限制硬件上的视频流应用，为优化 DNNs 提供深入的见解。
Apr, 2023
本研究提出了 MutateNN 工具，支持深度学习图像识别模型在不同硬件加速设备上进行变异测试和分析，以便于开发者和研究者探索模型的稳健性。通过在不同设备上部署 21 种变异并观察其性能，研究者们发现有些变异和算术类型有关的还不够稳定。
Jun, 2023
通过模型架构和数据预处理对多个常用分割和目标检测方法在模拟 CT 成像伪影和退化情况下的鲁棒性进行了测试，并考虑了通过模拟扫描仪老化或成像协议变化引起的图像质量的未来变化对深度学习模型的临床应用的可持续性的影响。
Jun, 2024
该研究对主流深度学习框架和平台在开发和部署中的影响进行了系统研究，结果表明计算差异可能导致项目的预测准确度下降，部署过程仍存在兼容性和可靠性问题，并通过发现的问题总结出实用的指南以及明确新的研究方向。
Sep, 2019
我们建立了视觉感知稳健性的严格基准，通过合成图像进行评估，引入了生成模型作为数据源来合成具有多样化背景、纹理和材料的困难图像，该基准称为 ImageNet-D，实验结果表明 ImageNet-D 对于多种视觉模型都导致了显著的准确率下降。
Mar, 2024
我们提出了一个新颖的框架，用于生成对抗性基准测试，以评估图像分类模型的鲁棒性。我们的框架允许用户定制应用于图像的最佳失真类型，从而帮助解决与其部署相关的特定失真问题。该基准测试可以生成不同失真水平的数据集，评估不同图像分类器的鲁棒性。我们的结果表明，我们的框架生成的对抗性样本在任何图像分类模型（如 ResNet-50、Inception-V3 和 VGG-16）上都是有效的并且具有传递性，导致其他模型失效。即使使用最先进的技术对这些模型进行对抗式重训练，这些失败仍然会发生，证明了我们对抗性样本的泛化能力。我们在 CIFAR-10 和 ImageNet 上的净 $L_2$ 失真方面取得了与最先进基准技术具有竞争性的性能；然而，我们的框架是通过简单的失真（如高斯噪声）实现这些结果的，而不引入不自然的伪影或颜色渗透。这得益于基于模型的强化学习（RL）代理和将对图像的深度树搜索减少到一级分析和动作的技术，来降低模型对扰动的敏感性。选择失真类型和设置多类别分类概率阈值的灵活性使得我们的框架适用于算法审核。
Oct, 2023
深度学习和鲁棒性在安全关键应用中的测评方法以及概率鲁棒性的权衡和使用条件进行了比较分析，提出了一种基于假设检验的直观实用测量标准，并将其整合到 TorchAttacks 库中，为对模型鲁棒性的理解做出了贡献。
Apr, 2024
近年来，对神经网络的稳健性评估引起了极大关注，深度学习的稳健性问题特别突出，研究人员致力于在图像识别任务中评估稳健性，在此综述中，我们对神经网络评估中敌对稳健性和扰动稳健性进行了详细研究，分析当前研究和标准，提供了图像识别中稳健性评估的广泛概述，分析了概念、度量标准和评估方法，研究了用于度量图像扰动程度的扰动度量和范围表示，以及特定于分类模型稳健性条件的稳健度量，还讨论了现有方法的优势和局限性，并提供了一些未来研究的潜在方向。
Apr, 2024