Jul, 2023

神经图像压缩：泛化、鲁棒性和频谱偏差

PDF
TL;DR本文提供了一种综合测试套件，用于评估图像压缩方法的视角外 (OOD) 性能，并提出了基于频谱的检查工具，揭示了压缩方法的错误并深入探讨了它们以及数据的频谱特性对 OOD 性能的依赖性。
neural image compressionood performancespectral propertiesbenchmark suitegeneralization
发现论文，激发创造
  • 控制速率、失真和逼真度：走向一个全面的神经图像压缩模型

    近年来，神经网络驱动的图像压缩（NIC）方法备受关注。本文提出了一种可变比率的生成式 NIC 模型，通过多种鉴别器设计和引入新的对抗损失，结合新提出的多真实感技术，用户能够通过单一模型灵活地调整比特率、失真和真实感，实现了极高的可控性并覆盖宽范围的比特率。与已有可变比率生成式 NIC 模型不同的是，本方法在只使用一个模型的情况下，达到或超过最先进的单比率生成式 NIC 模型的性能。

    May, 2024

  • 深度学习压缩中的迁移能力鲁棒性

    本文介绍了两种增强深度神经网络压缩系统鲁棒性的方法，采用分布鲁棒优化和结构化潜在代码进行训练，取得较传统深度神经网络压缩器更优的效果。

    Oct, 2021

  • 基于神经网络的千兆级组织病理图像压缩分析

    本文提出了一种名为神经图像压缩（NIC）的两步方法来构建卷积神经网络，以仅使用弱的图片级标签对吉盘素级图像进行分析。

    Nov, 2018

  • 视觉识别模型对图像压缩是否具有鲁棒性？

    本文研究图像压缩对图像分类、目标检测及语义分割等三种视觉识别任务准确性的影响。研究采用传统编解码器及最新的神经压缩方法进行实验，探究压缩比从 0.1 到 2bpp 下的识别准确度。实验发现，在强压缩下，三个任务的识别准确度都会受到显著影响。通过在压缩的训练图像上对识别模型进行微调，可以从一定程度上恢复性能损失。

    Apr, 2023

  • 联合分层先验与自适应空间分辨率用于高效神经图像压缩

    该研究提出了一种改进的变压器 (Transformers) 自回归先验模型及 ConvNeXt-based 预 / 后处理器，并将其应用于图像压缩，提高了压缩效率和解码复杂度的权衡。

    Jul, 2023

  • 基于深度神经网络编码模型的腹侧视觉皮层外分化能力基准测试

    使用 DNN 编码模型预测视觉皮层神经元反应时，我们对其泛化能力进行了表征。通过收集来自猕猴颞下皮层的大规模神经群体反应数据集 MacaqueITBench，我们研究了分布转移对预测神经活动模型的影响。结果显示，分布转移对于预测神经元响应的模型性能有很大影响，并且预训练对象识别模型提取的图像表示之间的余弦距离是神经预测性的强预测因子。

    Jun, 2024

  • 高保真神经图像压缩的语义集成损失和潜在精炼

    该研究提出了一种改进的神经压缩方法，通过使用复杂的语义集成损失、潜在精细化过程和优化可视保真度的目标，显著提高了神经图像压缩的统计保真度，并在 CLIC2024 验证集上相较于 MS-ILLM 在 FID 指标下实现了 62% 的比特率节省。

    Jan, 2024

  • 推动神经图像压缩的速率失真计算前沿

    通过我们的速率 - 失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和 RD 性能之间具有最佳的实证权衡。

    Sep, 2023

  • PO-ELIC: 感知导向的高效学习图像编码

    PO-ELIC 提出了一种感知导向的高效学习图像编码模型，通过采用对抗性训练技术，包括铰链形式的对抗损失、Charbonnier 式损失和样式损失，进一步提高学习图像压缩技术的感知品质，在更低的比特率下提供了与 HiFiC 相当的感知品质。

    May, 2022

  • 计算效率高的神经图像压缩

    通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

    Dec, 2019