- 从 Llama2 7B 权重的无损（~1.5:1）压缩算法到 CNNs 和 LLMs 的可变精度、可变范围、压缩数值数据类型
这篇论文介绍了一种简单的无损压缩算法，用于处理大型语言模型的权重，可在 AMD FPGAs 中实现，并能每秒处理超过 8 亿个 bfloat16 数字。该算法被扩展应用于可变精度、可变范围的数值数据类型，并讨论了基于 ANS（非对称数系统） - 基础模型的无损和接近无损压缩
我们研究了一种传统的模型压缩方法，即无损压缩，表明这种方法在流行的模型上可以显著减少网络和存储需求，并引入了一种可调节的有损压缩技术，进一步减小模型的大小。
- 深度神经网络的 “无损” 压缩：一种高维度神经切向核方法
建立在神经切向核 (NTK) 和随机矩阵理论 (RMT) 的最新进展之上，我们提供了一种创新的压缩方法用于宽且全连接的深度神经网络，实现 “无损” 压缩，即压缩后的网络在渐近意义下与原始网络具有相同的 NTK，权重和激活只取值于 {0, ± - LoMA：无损压缩的内存注意力
提出了一种新方法，即无损压缩记忆关注（LoMA）方法，可以根据一组压缩比将信息无损地压缩到特殊记忆令牌 KV 对中，实现资源消耗的减少，并取得了显著的结果。
- LLMZip：使用大语言模型的无损文本压缩
使用大型语言模型 LLaMA-7B，我们给出了一组英文熵的渐进上界估计，并基于该估计提出了一种结合大型语言模型和无损压缩方案的英文文本无损压缩算法，初步结果显示出优于 BSC，ZPAQ 和 paq8h 等现有文本压缩方案的性能。
- 基因组学中的经典到量子序列编码
本文介绍了在生物信息学中使用多种数学领域的算法进行古典到量子数据编码的新颖方法，其中包括无损压缩、小波编码和信息熵技术，并提出了基于量子玻尔兹曼机的 DNA 序列编码测试方法，为量子计算在生物信息学中的发展提供了新的思路和应用。
- 验证可逆编程用于验证无损压缩
本文介绍了一种基于对称数字系统的无损压缩方法，特别是它们共享编码器和解码器之间的结构，使得可以使用单一可逆函数同时指定两者。我们提出了一种可逆语言 Flipper，它嵌入在 Agda 中，以支持对程序属性的形式化验证。通过 Flipper， - iFlow: 通过统一编码器实现数值反转流的高效无损压缩
本文介绍了使用归一化流实现高效无损压缩的新方法 iFlow, 该方法基于模块化缩放变换提出了一系列数值可逆流变换，同时引入了 Uniform Base Conversion System（UBCS）实现快速均匀分布编码，iFlow 实现了最 - ICLR自回归扩散模型
本文介绍了 AR 模型中的一种 Autoregressive Diffusion Models，相较于其他模型具有更高的性能表现。同时，作者还将该模型应用于无损压缩，并表明该模型在此任务上也表现出了极佳的结果，其适用于数据点的压缩及适应各种 - 关于概率图像建模的场外泛化问题
采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能，并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC)，并且在压缩率和模型大小上达到了最佳 - ICML离散去噪流
本研究提出了离散去噪流模型（Discrete Denoising Flows, DDFs），用于建模离散的随机变量，并证明在对数似然度量中，在建模玩具示例，二进制 MNIST 和 Cityscapes 分割地图方面，DDFs 优于 Disc - CVPRiVPF：数值可逆守恒体积流用于高效无损压缩
本文研究体积保持流用于无损压缩，并提出了数值可逆体积保持流 (iVPF)。实验结果表明，基于 iVPF 的算法在轻量级压缩算法中达到了业内领先的压缩比
- 通过蒙特卡洛比特回传编码提高无损压缩速率
本文介绍了利用更紧密的变分上限构建的 bits-back 编码算法来消除 KL 散度对速率效率的影响，并提出了利用延伸空间表示来优化 MC 估计的关键思想，并通过在潜在空间中耦合来大大减少额外成本，最终实现了较 bits-back 更好的无 - 基于学习的 3D 点云几何无损压缩
本文介绍了一种基于学习的无损压缩方法，可用于静态点云几何图形，基于自适应算术编码。我们的编码器在八叉树和体素编码之间混合操作，即将点云自适应地分区为多分辨率体素块，使用八叉树表示分区。利用深卷积神经网络对体素进行学习和处理，呈现了优越的性能 - ICLRIDF++：整数离散流的分析与改进以实现无损压缩
本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析，并通过证明发现此理论不适用于整数离散流。此外，我们研究了整数离散流中的梯度偏差效应，并通过实验证明其对模型的性能影响高度依赖于架 - 深度神经网络无损压缩
本文介绍了一种名为 LEO 的算法，该算法利用混合整数线性规划技术在线性行为上识别修正线性单元，以便使用 L1 规则进行训练，从而实现在有限计算资源下实现神经网络无损压缩。
- HiLLoC：使用分层潜变量模型的无损图像压缩
本文观察到了完全卷积 VAE 模型在对于 32x32 的 ImageNet 数据集进行训练后不仅可泛化到 64x64，还能很好地扩展到更大的照片，且不需要修改模型。作者使用这种特性将完全卷积模型应用于无损压缩，并展示了一种将基于 VAE 的 - 基于局部比特回传编码的压缩流
本文提出了一种用于流模型的新的压缩技术 —— 局部 Bits-Back 编码，并为许多流模型提供了高效的算法来实现该技术，实验表明该算法可以实现先进的流模型在高维数据上的理论码率。
- 整数离散流与无损压缩
本文提出了一种基于流的生成模型称为 “整数离散流”，该模型能够学习在高维数据上的丰富变换，并且能够采用可逆神经网络实现无损压缩，在 CIFAR10、ImageNet32 和 ImageNet64 上实现了最先进的无损压缩率。
- ICMLBit-Swap: 递归位回推编码用于层次化潜在变量无损压缩
本研究提出了一种新的压缩方案 Bit-Swap，用于实现具有 Markov 链结构的分层隐变量模型的失真压缩，实验表明此方案比现有技术更加优越。