Nov, 2023

Wyner-Ziv 问题中的逐级完善的学习分层编码

PDF
TL;DR我们提出了一种数据驱动的方法来明确学习连续源的渐进编码，该方法通过逐步提高质量并在相关的辅助信息的帮助下进行解码。我们的方法使用递归神经网络来学习二次高斯情况下的分层编码器和解码器，并通过最小化渐进 Wyner-Ziv 编码问题的速率 - 失真函数上的变分界来训练模型。我们证明了递归神经网络能够明确检索与可伸缩嵌套量化类似的分层分组解决方案。此外，该方案的速率 - 失真性能与相应的整体 Wyner-Ziv 编码方法相当，并且接近速率 - 失真界。
发现论文，激发创造
  • 基于综合症的线性码解码的深度学习方法

    提出了一种新的框架，可以将深度神经网络应用于任意块长度的线性码的软译码，其中使用递归神经网络结构以及排序统计解码算法进行预处理来提高性能。

    Feb, 2018

  • 基于深度学习的通信算法

    本文研究使用深度学习自动发现解码算法的可行性，并展示了我们训练的循环神经网络架构能够在自适应 AWGN 频道模型下，解码着名的顺序编码达到接近最优的性能。

    May, 2018

  • 梯度衰减和逐层蒸馏加速学习视频编解码器

    最近几年，端到端学习的视频编码器在压缩效率方面已经显示出与传统编码算法竞争的潜力。然而，大多数基于学习的视频压缩模型与高计算复杂性和延迟相关，特别是在解码器方面，这限制了它们在实际应用中的部署。本文提出了一种基于梯度衰减和自适应分层蒸馏的新型模型不可知剪枝方案。梯度衰减增强了稀疏化过程中的参数探索，同时防止过度稀疏，比标准的直通估计方法更优。自适应分层蒸馏根据中间特征的失真情况，在不同阶段有效地调整稀疏训练，以最小的计算开销更新参数。所提出的方法已应用于三种流行的端到端学习的视频编码器，即 FVC、DCVC 和 DCVC-HEM。结果表明，我们的方法在 MACS 上减少了高达 65％，速度提升了 2 倍，并且 BD-PSNR 下降不到 0.3dB。支持代码和补充材料可从此 https URL 下载。

    Dec, 2023

  • 神经联合信源信道编码

    本文提出了一种用于编解码的离散自编码器模型，通过添加噪声来模拟信道以实现数据压缩和容错，得到了与现有方案相当的编码标准，并学习了下游任务（如分类）的有用鲁棒表征。最后，通过推理摊销，实现了一个快速的神经解码器，与迭代置信传播方法相比，速度提高了近一个数量级。

    Nov, 2018

  • 高斯双向信道的编码：线性与基于学习的方法

    通过优化编码器和解码器的设计，利用用户合作来增强和平衡高斯双向通道中的通信可靠性，并讨论了线性编码和基于 RNN 的编码策略在不同信噪比情况下的表现。

    Dec, 2023

  • 深度学习提高线性编码解码的方法

    探讨利用深度学习方法改进信道解码器进行线性码的近似最优的解码，发现可以通过构建循环神经网络的体系结构来实现解码器参数的绑定，以此有效降低参数数量并提升性能。

    Jun, 2017

  • 学习线性分组纠错码

    本研究首次提出了一种统一的编码 - 解码训练方法，用于二进制线性分组码，采用了适应性编码设置，支持针对二阶伽罗瓦域的端到端优化。我们还提出了一种新颖的 Transformer 模型，其中的自注意力掩码采用可微分的方式进行，以实现对码梯度的有效反向传播。实验结果表明：(i) 所提出的解码器在常规编码上优于现有的神经解码器；(ii) 所提出的框架生成的编码优于相应的常规编码；(iii) 我们开发的编码不仅在我们的解码器上表现出色，而且在传统解码技术上也表现出更好的性能。

    May, 2024

  • 深度预测编码网络

    提出深度预测编码网络，用于学习具有动态情境感知的表征学习，实现了高效的特征提取与局部不变性表示，同时具有良好的结构噪声适应能力。

    Jan, 2013

  • 基于 JPEG-LDPC 压缩图像的学习：使用综合来分类

    通过 LDPC 编码的数据直接进行分类，不需要任何形式的解压缩，结果表明，与 Huffman 编码和算术编码相比，LDPC 编码的分类效果更好，并且需要更小的学习模型。

    Mar, 2024

  • 层级多尺度神经网络中的连续学习

    本研究提出了一个层次化的多尺度语言模型，通过在线元学习方式，使用一个上层模型更新低层模型的权重来编码短时间尺度和长时间尺度的依赖关系，并使用弹性权重一致性作为高层次来防止灾难性遗忘。

    May, 2018