Sep, 2023

TensorCodec: 张量的紧凑有损压缩，无需强数据假设

PDF
TL;DRTENSORCODEC 是一种用于一般张量的有损压缩算法，通过将神经张量列车分解与 Tensor-Train 分解相结合，将输入张量折叠成更高阶的张量，重新排序输入张量的模索以揭示可供 NTTD 利用的模式，实验结果表明 TENSORCODEC 在压缩效率、重建准确性和可扩展性方面具有优势。
tensorscompression algorithmneural tensor-train decompositionreconstructionempirical compression time
发现论文，激发创造
  • 深度神经网络的 “无损” 压缩：一种高维度神经切向核方法

    建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ±1}。

    Mar, 2024

  • VcLLM：视频编解码器是密集张量编解码器

    我们的研究发现，尽管视频编解码器最初是为压缩视频而设计的，但在压缩各种类型的张量时显示出极高的效率。我们展示了视频编解码器可以成为通用的张量编解码器，同时在各种任务中实现了最先进的压缩效率。我们进一步利用了 GPU 上可用的硬件视频编解码模块创建了一个能够同时进行推理和训练的框架，将视频编解码器重新用作张量编解码器。这极大地减少了对内存容量和通信带宽的要求，使得大型模型可以在消费级 GPU 上进行训练和推理。

    Jun, 2024

  • 张量神经网络：神经网络的泛化和模型压缩应用

    该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

    May, 2018

  • COIN++：跨模态神经压缩

    COIN++ 提供了一种神经压缩框架，它基于将数据转换为隐式神经表示，并利用元学习的基网络来存储应用于数据的调制，从而实现大量压缩收益并降低编码时间。

    Jan, 2022

  • 利用格码变换在神经压缩中接近速率失真限制

    深度学习压缩方法中，通过在潜变量空间中使用晶格量化而非标量量化能够实现对向量量化的最优恢复，提高了一次性编码性能和块编码效果。

    Mar, 2024

  • 通过张量网络将神经网络压缩为指数少的变分参数

    本文提出了一种基于张量网络的压缩算法，能够显著地降低神经网络的参数量，从而提高其压缩效果和泛化性能。实验证明，该算法可将包含上千万参数的 VGG-16 模型的卷积层压缩为仅包含 632 个参数的张量网络，同时提升在 CIFAR-10 数据集上的测试准确率。该算法可被看作是一种高效的神经网络参数压缩方案，能够充分挖掘神经网络的可压缩性。

    May, 2023

  • 有损压缩用于无损预测

    本文利用无监督目标设计神经压缩器进行图像压缩，以满足具有数据增强特征的所有预测任务的高性能，实现了大幅度节省数据率的效果，同时不会降低下游分类性能。

    Jun, 2021

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • 高保真神经音频压缩

    利用神经网络技术，提出了一种先进的实时高保真音频编解码器，其采用流式编解码器结构和量化的潜在空间，并引入了一种新型损失平衡机制和轻量级 Transformer 模型用于压缩。在语音、噪声回声语音和音乐等多个音频领域测试中，该方法在所有评估指标下均优于基线方法。

    Oct, 2022

  • 实时自适应图像压缩

    本文提出了一种基于机器学习的图像有损压缩方法，运行实时且优于所有现有编解码器，其架构为自编码器，具备金字塔分析、自适应编码模块、期望码长的正则化等特点，并通过对抗训练以在极低比特率下提供视觉良好的重建效果。

    May, 2017