robustness benchmark | BriefGPT

关键词robustness benchmark

搜索结果 - 8

多模态基础模型的零样本鲁棒性基准测试：一项试点研究
基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。
PDF4 months ago
CVPR自主驾驶的单视图和多视图深度的自适应融合
本文提出了一个鲁棒性评估基准来评估在各种嘈杂的相机位姿设置下深度估计系统，同时提出了一个自适应融合深度估计系统，通过动态选择两个分支之间的高置信度区域进行融合，以实现鲁棒和准确的深度估计。该方法在鲁棒性测试中优于现有的多视图和融合方法，并在
PDF4 months ago
ICLRDr.Spider：一种针对文本到 SQL 稳健性的诊断评估基准
本文提出了一个跨领域文本到 SQL 基准（Spider）的综合健壮性评测来诊断模型的鲁棒性，并设计了 17 个数据库、自然语言问题和 SQL 查询的扰动来从不同角度衡量其鲁棒性。实验结果表明，即使是最鲁棒的模型在最具挑战性的扰动上也会出现
PDFa year ago
基于激光雷达 - 相机融合技术的三维目标检测鲁棒性评估
本研究针对自动驾驶的核心传感器进行研究，发现同时融合相机和 LiDAR 两种模式可以显著提升其性能。然而，由于当前数据集来自于昂贵的数据收集车辆，无法完全反映真实数据分布。因此，我们提出了一种系统性的鲁棒性基准测试工具包，并在 nuSce
PDF2 years ago
ACL虚拟对抗性离散扰动一致性训练
通过添加离散噪音的扰动方法，可以更有效地将模型的决策边界推向具有抵抗干扰能力的点，并在半监督文本分类任务和鲁棒性基准测试中，优于其他基于文本编辑、释义或连续噪音的一致性训练基线方法。
PDF3 years ago
ACL预训练转换器提高超出分布鲁棒性
本文通过构建具有现实分布变化的新的鲁棒性基准，系统地测量了七个 NLP 数据集的预训练 Transformers 的 OOD 泛化能力。研究结果表明，Pretrained Transformers 的性能下降显著较小，在检测异常或 OOD
PDF4 years ago
ICLR评估神经网络对普遍损坏和扰动的鲁棒性能力
该文章为图像分类器的稳健性建立了严格的基准测试，并提出了两个基准测试 ImageNet-C 和 ImageNet-P，用于评估分类器对常见扰动和干扰的稳健性。研究发现，从 AlexNet 分类器到 ResNet 分类器，相对污染鲁棒性几乎没
PDF5 years ago
MM基准测试神经网络对常见破坏和表面变化的鲁棒性
本文旨在建立图像分类器鲁棒性的严格基准，提出了 ImageNet-C 数据集，评估了常见污损图像的分类能力和表面变化鲁棒性，并探讨了提高分类器鲁棒性的方法。同时，提出了 Icons-50 数据集，旨在研究表面变化鲁棒性。通过本文的基准测试可
PDF6 years ago