Nov, 2023

优化针对常见扰动的稳健性：基于类别专家混合模型的研究

PDF
TL;DR通过引入一种称为 Mixture of Class-Specific Expert Architecture 的新范式，该研究旨在增强神经网络在现实场景中的可适应性和性能，通过为每个类别训练专用的网络段并聚合它们的输出来减轻常见神经网络结构所带来的漏洞。研究还强调全面评估方法论的重要性，倡导引入常见损坏基准，以提供关于神经网络的脆弱性和对未知扭曲的泛化能力及鲁棒性的细致洞察。该研究旨在促进对神经网络局限性的深入理解，并提出一种增强它们在不断变化和不可预测条件下韧性的实用方法。
neural networksvulnerabilitymixture of class-specific expert architecturecomprehensive evaluation methodologiescommon corruptions benchmark
发现论文，激发创造
  • 利用对抗对比学习提高目标检测器对常见干扰的鲁棒性

    该研究提出了一种创新的对抗对比学习框架，通过生成实例级对抗样本和优化对比损失，增强了神经网络对抗攻击和常见扭曲的鲁棒性，同时通过对比学习增强了干净样本与对抗样本之间的相似性，从而使得表示具有对抗攻击和常见扭曲的抵抗力。通过改善对抗和实际应用条件下的性能，该方法旨在增强神经网络在安全关键应用中的鲁棒性，如自主车辆在不可预测的天气条件下行驶。我们预计这个框架将有助于提高神经网络在具有挑战性环境中的可靠性，促进其在任务关键场景中的广泛应用。

    Nov, 2023

  • 计算机视觉模型对常见失真的鲁棒性：一项调查研究

    本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述，介绍了不同类型的图像污染以及相关的评估指标和基准数据集，并对现有模型的基础污染鲁棒性进行了评估，以帮助选择适合特定计算机视觉任务的骨干网络。

    May, 2023

  • 使神经网络对多种图像污染具有鲁棒性的简单方法

    该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

    Jan, 2020

  • 评估神经网络对普遍损坏和扰动的鲁棒性能力

    该文章为图像分类器的稳健性建立了严格的基准测试，并提出了两个基准测试 ImageNet-C 和 ImageNet-P，用于评估分类器对常见扰动和干扰的稳健性。研究发现，从 AlexNet 分类器到 ResNet 分类器，相对污染鲁棒性几乎没有变化，而绕过的对抗性防御提供了实质性的常见干扰强度。

    Mar, 2019

  • 使用频率偏置模型提高对通用损坏的鲁棒性

    本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法，成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务，同时提升了在受损图像方面的鲁棒性。

    Mar, 2021

  • 通过协变量转移适应性提高对常见数据损坏的稳健性

    本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

    Jun, 2020

  • 神经架构设计与鲁棒性：一个数据集

    本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

    Jun, 2023

  • 针对常见污染物的 3D 点云识别鲁棒性基准测试

    本文提出了深度神经网络在 3D 点云数据上应用于安全关键领域，但对其鲁棒性的研究较少。作者提出了新的用于测试冲突鲁棒性的基准数据集，并给出了一种简单而有效的方法来降低现有模型在此数据集上的表现差距。作者通过实验发现了一些有关点云识别中鲁棒性的关键见解，例如在适当的训练下，基于 Transformer 的结构具有最强的鲁棒性。

    Jan, 2022

  • 深度神经网络对数字病理学中常见损伤的健壮性基准测试

    本文为评估深度神经网络在受损病理图像上的表现建立了易于使用的基准，发现了多种深度神经网络模型存在显著的精度下降和不可靠的置信度评估，并提出了一种用于将验证集替换为该基准集的新方法。

    Jun, 2022

  • 探索深度神经网络的漏洞：参数破坏研究

    本文探讨了模型参数的脆弱性对于模型鲁棒性和泛化性的重要性，并提出了通过参数损坏来衡量神经网络参数鲁棒性的指标，并给出了一种梯度下降的估算方法，以提高训练效率。我们的研究得到理论和实证的支持，发现了深度神经网络的脆弱性，并提出了一种敌对损坏抗性训练的方法，可以提高模型的鲁棒性和预测准确率。

    Jun, 2020