我们提出了第一个实用的学习无损图像压缩系统 L3C，它在压缩方面优于流行的人工编码器 PNG、WebP 和 JPEG 2000。L3C 的核心是一种可完全并行化的分层自适应熵编码概率模型，该模型针对压缩任务进行了端到端的优化。与最近的自回归离散概率模型（如 PixelCNN）相比，我们的方法将图像分布与学习的辅助表示一起建模，而不是仅在 RGB 空间中建模图像分布，并且只需要三个前向传递来预测所有像素的概率，而不是为每个像素分别预测一个。此外，我们发现学习辅助表示至关重要，而且显著优于预定义的辅助表示，如 RGB 金字塔。

Nov, 2018

分布式优化和学习，尤其是在联邦学习的现代框架中，通信对于慢速和昂贵的问题至关重要。我们介绍了一种名为 LoCoDL 的通信高效算法，它利用了本地训练和压缩这两种常用且有效的技术，通过降低通信频率和发送短的比特流而不是完整的浮点数向量。LoCoDL 适用于包括广泛使用的稀疏化和量化方法在内的大类无偏压缩器。在具有强凸函数的一般异构情况下，LoCoDL 可以从本地训练和压缩中获益，并且在功能条件数和模型维度方面具有双重加速的通信复杂度。实践中证实，LoCoDL 优于现有算法。

Mar, 2024

介绍了一种名为 LtC 的协作框架，通过在分析服务器上使用高级分析算法作为教师来训练轻量级的学生神经网络，从而在视频源端有效地减少视频流的大小，并使用基于特征差异的新颖时序过滤算法省略不包含新信息的帧，从而实现了 28-35% 的带宽减少和达到相似分析性能的 45% 短响应延迟。

Jul, 2023

我们介绍了一种新的压缩算法，将工作节点级别的压缩与网络内聚合相结合，在不牺牲训练准确度的情况下有效提高聚合吞吐量和每次迭代的训练速度。

Feb, 2024

本文提出了一种可学习的压缩量化方法 (LCQ), 该方法能够灵活地通过优化模型权重和可学习的压缩函数来控制权重和激活的压缩级别，从而优于传统的最先进方法，并缩小量化模型与全精度模型之间的差距。

Mar, 2021

该研究介绍了一种创新的 LLM 压缩方法，使用量子启发的张量网络来压缩模型的相关空间，实现对 LLaMA-2 7B 模型的压缩，使其仅保留原始大小的 30%，并在经过简要分布式重新训练后恢复原始准确率的 90% 以上。

Jan, 2024

介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。

Aug, 2020

通过应用数据压缩技术来减少数据传输，从而提高在内存受限设备上量化化的大型语言模型推理的速度。

Mar, 2024

本论文提出了一种新颖的通信高效的分离学习（Split Learning）框架，名为 SplitFC，它通过减少 SL 训练过程中传输中间特征向量和梯度向量所需的通信开销。SplitFC 使用两种压缩策略：自适应特征丢弃和自适应特征量化，其实现方式分别是根据向量标准差确定自适应丢弃概率和根据向量范围确定自适应量化级别。实验结果表明，与最先进的 SL 框架相比，SplitFC 在 MNIST、CIFAR-10 和 CelebA 数据集上提供了超过 5.6％的分类准确性提升，同时所需通信开销比不使用压缩的基础 SL 框架少 320 倍。

Jul, 2023

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024