学习视频压缩的对抗畸变
本文通过白盒和黑盒攻击展示了当输入图像发生微小扰动时,现有的深度学习图像压缩系统容易受到攻击。为此,我们提出了一种新的压缩架构 factorAtn,它结合了注意力模型和因式熵模型,取得了更好的性能表现。
May, 2022
本篇论文首次对深度学习视频压缩和分类系统进行了敌对攻击研究。我们设计了名为 RoVISQ 的攻击框架,在增加网络带宽或降低用户视频质量两个方面实现攻击目标。RoVISQ 攻击对于对抗训练、视频降噪和 JPEG 压缩等多种防御具有鲁棒性,实验结果表明 RoVISQ 攻击在实现超过 90% 的攻击成功率的同时,将峰值信噪比降低了最多 5.6dB,码率降低了最多约 2.4 倍。
Mar, 2022
通过基于简单图像转换函数的非训练型防御技术,研究了学习型图像压缩模型在面对对抗攻击时的稳健性,并提出了一种简单但有效的双向压缩算法,可方便地应用于现有的图像压缩模型,并且在保留对干净图像模型的原始失真率性能的同时,无需额外的训练或修改现有模型,更加实用。
Jan, 2024
本文研究了如何将生成敌对网络与学习压缩相结合,得到一种最先进的生成有损压缩系统,并在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面进行了探究。与之前的工作不同的是,我们实现了在广泛的比特率范围内视觉上令人满意的重建,并且,我们的方法可以应用于高分辨率图像。我们在定量上使用各种感知指标和用户研究来评估我们的方法,研究表明,即使使用超过 2 倍的比特率,我们的方法也优于以前的方法。
Jun, 2020
本文提出了一种名为 NetFlick 的真实 LED 攻击来攻击视频压缩框架,用以快速而有效地损害传入视频的性能,并可进一步扩展到攻击下游视频分类网络。
Apr, 2023
本文提出了一种基于深度生成模型的视频压缩方法,采用三维自编码器和自回归先验以最小化速率失真损失,实现编码效果优于现有的基于运动补偿或插值的视频压缩网络,并且在设计选择和压缩技术方面进行了系统评估和扩展,包括语义压缩、自适应压缩和多模态压缩,以便在非标准成像传感器捕获的多个模态数据上实现联合压缩。
Aug, 2019
本研究基于生成对抗网络构建了一个图像压缩系统,其中包括编码器、解码器 / 生成器和多尺度鉴别器,并使用全生成式学习压缩目标。模型可合成存储受限的细节,实现在比之前方法失败且出现严重伪影的比特率下,较视觉上令人满意的结果。此外,如果有原始图像的语义标签映射可用,则本方法可以从标签映射中合成出解码后图像的不重要区域,例如街道和树,并相应地减少存储成本。一个用户研究证实,即使使用两倍以上的比特,低比特率下我们的方法都优于现有技术。
Apr, 2018
本文提出并研究了分布保持有损压缩问题,旨在优化速率失真间的平衡,使重建样本符合训练数据的分布,并通过采用 Wasserstein GAN 和 Wasserstein 自编码器的组合等方法,进行了理论和实证分析。
May, 2018
使用深度卷积神经网络的有损图像压缩方法,结合感知损失和对抗损失以及逐渐引入量化误差和速率约束的易到难迁移学习实现更好的速率 - 失真优化。在多个数据集中,相比于 BPG,WebP,JPEG2000 和 JPEG,平均达到了 7.81% - 19.1%的 BD - 率降低。
Jun, 2018