Jan, 2021

过拟合之乐：实例自适应数据压缩

PDF
TL;DR本文介绍一种基于自动编码器和潜变量表示的神经压缩方法，并探讨了在训练后适应单个视频、发送模型更新以及重新调整参数等方面的改进措施。结果表明，相较于仅调整编码器的方式，对整个模型进行调整可以提高图像在视频中的压缩性能约 1 dB。
neural data compressionautoencoderlatent representationmodel finetuningvideo compression
发现论文，激发创造
  • 通用神经图像压缩的动态低秩实例适应

    通过低秩适应方法和动态适应网络，提出的神经图像压缩方法能够显著减小域差，并在多种图像压缩结构中普遍提升压缩效果。

    Aug, 2023

  • 灵活神经图像压缩的稳健过拟合潜在特征

    神经图像压缩可以通过使用变分自动编码器和随机 Gumbel 退火来优化编码器和解码器容量，从而提高压缩性能。

    Jan, 2024

  • 神经数据压缩简介

    本文介绍了神经压缩的概念及其在数据压缩领域中的应用，首次完整回顾了信息论和计算机视觉的背景知识，并提供了一个文献综述，总结了目前领域内的主要意见和方法。

    Feb, 2022

  • 推动神经图像压缩的速率失真计算前沿

    通过我们的速率 - 失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和 RD 性能之间具有最佳的实证权衡。

    Sep, 2023

  • 用于学习图像压缩的通道方向自回归熵模型

    本研究介绍了两种增强技术：通道调节和潜在残差预测，提出了比现有上下文自适应模型更好的网络架构，该模型在最小化串行处理、保持数据完整性等方面都性能更优，在 Kodak 和 Tecnick 图像集上的平均速率提高了 6.7% 和 11.4%。在低比特率下，本研究的模型可使速率提高 18%，比像 BPG 这样的手工工程编解码器提高 25%。

    Jul, 2020

  • 基于分层自编码器的大规模高分辨率科学数据有损压缩

    我们提出了一个神经网络模型，能够在不牺牲重建质量的情况下，显著压缩大规模科学数据，并在公开的科学基准数据集和高分辨率气候模型数据集上进行了测试，达到了 140 的压缩比和可忽略的重建误差。

    Jul, 2023

  • 通过码率失真自编码器实现视频压缩

    本文提出了一种基于深度生成模型的视频压缩方法，采用三维自编码器和自回归先验以最小化速率失真损失，实现编码效果优于现有的基于运动补偿或插值的视频压缩网络，并且在设计选择和压缩技术方面进行了系统评估和扩展，包括语义压缩、自适应压缩和多模态压缩，以便在非标准成像传感器捕获的多个模态数据上实现联合压缩。

    Aug, 2019

  • 模型压缩的失真率研究：从理论到实践

    本文研究深度神经网络模型压缩技术，提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术，理论上证明了该架构对于一层 ReLU 神经网络最优，实验证明该方法在压缩 - 精度平衡上显著优于基线方法。

    Oct, 2018

  • 知识内含：无数据模型压缩方法

    本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

    Dec, 2019

  • 深度神经网络在线压缩

    本文介绍了一种新的深度神经网络压缩方法，在学习阶段增加额外的正则化项来减小全连接层的参数量，并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估，与现有方法相比，压缩率显著提高。

    Sep, 2015