神经网络最优压缩锯齿桥

Nov, 2020

Neural Networks Optimally Compress the Sawbridge

Aaron B. Wagner, Johannes Ballé

TL;DR本文研究了基于神经网络的压缩器在处理集中于低维流形上的高维数据（如图像）方面的有效性，同时研究了一个连续时间随机过程的最优熵 - 失真权衡并对比了经典的 Karhunen-Loève 变换的压缩器，结果表明基于神经网络的压缩器在训练采用随机梯度下降的情况下可实现最佳性能。

Abstract

Neural-network-based compressors have proven to be remarkably effective at compressing sources, such as images, that are nominally high-dimensional but presumed to be concentrated on a low-dimensional manifold. We consider a continuous-time random process that models an extreme version

neural network-based compressors continuous-time random process entropy-distortion tradeoff stochastic gradient descent karhunen-loève transform

发现论文，激发创造

神经数据压缩简介

本文介绍了神经压缩的概念及其在数据压缩领域中的应用，首次完整回顾了信息论和计算机视觉的背景知识，并提供了一个文献综述，总结了目前领域内的主要意见和方法。

Feb, 2022

端到端优化的图像压缩

描述一种图像压缩方法，其由非线性分析变换、均匀量化器和非线性合成变换构成，并使用卷积线性滤波器和非线性激活函数的三个连续阶段构建变换，其中联合非线性性选择实现形式的局部增益控制，利用随机梯度下降的变体优化整个模型以实现训练图像数据库的速率失真性能，以及一个连续的代理来引入量化器产生的不连续损失函数，具有比标准 JPEG 和 JPEG2000 压缩方法更好的速率失真性能，并且在所有位率下对所有图像的视觉质量均有显著提高。

Nov, 2016

计算效率高的神经图像压缩

通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

Dec, 2019

改进的贝叶斯压缩

本文提出了结合软权重共享和变分 dropout 方法的神经网络模型压缩新方法，达到了工业规模使用的标准。

Nov, 2017

基于熵的深度神经网络引导加速收敛与提升性能

通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

Aug, 2023

深度神经网络的熵受限训练

该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。