视频质量评估模型的漏洞:对抗性攻击的挑战
本文首次尝试探索黑盒对抗攻击 NR-IQA 模型,通过最大限度地增加原始和扰动图像的质量评分之间的差异来误导对抗性示例的估计质量评分,针对 NR-IQA 模型开发出一种高效和有效的黑盒攻击方法。广泛实验表明,所有评估的 NR-IQA 模型都对该攻击方法存在漏洞,生成的扰动不可转移,有助于研究不同 IQA 模型的特性。
Feb, 2024
本文提出了一种基于查询的黑盒攻击方法,通过使用多个分数边界和人类视觉系统的特性,使得攻击方法能够有效地测试无参考图像质量评估方法的稳健性。实验证明,该攻击方法优于其他先进方法,并揭示了 NR-IQA 在黑盒攻击下的脆弱性,同时为进一步研究 NR-IQA 的稳健性提供了有力工具。
Jan, 2024
提出基于语言部分的弹性框架,使用语义相关的基本问题作为可控噪声,评估 VQA 模型的鲁棒性,并提出新的鲁棒性度量标准 R_score 和两个大规模的基础问题数据集(BQDs),以规范 VQA 模型的鲁棒性分析。
Nov, 2017
深度神经网络在无参考图像质量评估中取得了令人印象深刻的成功,但最近的研究强调了 NR-IQA 模型对微小对抗扰动的脆弱性,导致模型预测与主观评分之间的不一致性。当前的对抗攻击忽视了整个图像集内得分之间的关联关系,本研究提出了一种基于关联误差的攻击框架,同时破坏图像集内的关联性和个体图像的得分变化。该研究主要关注 Spearman 等排名相关的关联度和 Mean Squared Error 等预测误差度量。通过实验证明,该方法显著破坏了 Spearman 相关系数并对个体图像的得分产生了明显的变化,同时在不同类别的指标上表现出了最先进的性能,为 NR-IQA 模型的鲁棒性提供了新的视角。
Apr, 2024
该研究着重探讨了无参考视觉质量评估(NR VQA)问题,研究创建了包含 39,000 个失真视频和 117,000 个空时定位视频片段的最大人类感知质量评价数据库,以及两种独特的 NR-VQA 模型,并实现了在不同 UGC 数据集上的最先进性能,具有非常好的实践应用前景。
Nov, 2020
通过提出一种防御方法,并建立正规化训练策略,我们实验了四个基线模型来降低对无参考图像质量评估模型的对抗攻击所造成的分数变化,从而提高其对抗攻击的鲁棒性。
Mar, 2024
本文研究了基于神经网络的无参考质量度量方法的适用范围,并提出了一种快速的对抗扰动攻击方法(FACPA),可以用作实时视频处理和压缩算法的预处理步骤,提高稳定性。
May, 2023
本篇论文首次对深度学习视频压缩和分类系统进行了敌对攻击研究。我们设计了名为 RoVISQ 的攻击框架,在增加网络带宽或降低用户视频质量两个方面实现攻击目标。RoVISQ 攻击对于对抗训练、视频降噪和 JPEG 压缩等多种防御具有鲁棒性,实验结果表明 RoVISQ 攻击在实现超过 90% 的攻击成功率的同时,将峰值信噪比降低了最多 5.6dB,码率降低了最多约 2.4 倍。
Mar, 2022
现如今基于神经网络的图像和视频质量度量表现出比传统方法更好的性能。然而,它们也变得更容易受到对抗攻击,这些攻击可以增加度量指标的分数,而无需改善视觉质量。现有的质量度量基准主要通过与主观质量的相关性和计算时间来比较性能。然而,图像质量度量的对抗鲁棒性也是一个值得研究的领域。本文分析了现代度量在不同对抗攻击下的鲁棒性,并对 15 种无参考图像 / 视频质量度量的攻击效果进行了比较。一些度量显示出很高的抵抗对抗攻击的能力,使得它们在基准测试中的使用比易受攻击的度量更加可靠。该基准测试接受研究人员提交新的度量方法,使得研究人员可以使自己的度量方法更加抵抗攻击,或者寻找适合自己需求的度量方法。可以通过 pip install robustness-benchmark 来使用我们的基准测试。
Oct, 2023
使用预训练的多模态源模型生成对抗性图像 - 文本对来攻击目标 VQA 模型,并提出了一种新的 VQAttack 模型,通过设计的模块迭代生成图像和文本扰动,实验证明在转移攻击环境下,与现有方法相比,该模型具有有效性。
Feb, 2024