LeCo: 基于序列相关性学习的轻量压缩
本文提出了 3LC，一种新的损耗压缩方案，它通过三个新技术 ——3 值量化、稀疏乘法、四次编码和零运行编码的组合，实现了在保持模型精度的同时，实现了高数据压缩比和高压缩速度，可用于分布式 ML 框架的通信优化。
Feb, 2018
分布式优化和学习，尤其是在联邦学习的现代框架中，通信对于慢速和昂贵的问题至关重要。我们介绍了一种名为 LoCoDL 的通信高效算法，它利用了本地训练和压缩这两种常用且有效的技术，通过降低通信频率和发送短的比特流而不是完整的浮点数向量。LoCoDL 适用于包括广泛使用的稀疏化和量化方法在内的大类无偏压缩器。在具有强凸函数的一般异构情况下，LoCoDL 可以从本地训练和压缩中获益，并且在功能条件数和模型维度方面具有双重加速的通信复杂度。实践中证实，LoCoDL 优于现有算法。
Mar, 2024
介绍了一种名为 LtC 的协作框架，通过在分析服务器上使用高级分析算法作为教师来训练轻量级的学生神经网络，从而在视频源端有效地减少视频流的大小，并使用基于特征差异的新颖时序过滤算法省略不包含新信息的帧，从而实现了 28-35% 的带宽减少和达到相似分析性能的 45% 短响应延迟。
Jul, 2023
我们提出了第一个实用的学习无损图像压缩系统 L3C，它在压缩方面优于流行的人工编码器 PNG、WebP 和 JPEG 2000。L3C 的核心是一种可完全并行化的分层自适应熵编码概率模型，该模型针对压缩任务进行了端到端的优化。与最近的自回归离散概率模型（如 PixelCNN）相比，我们的方法将图像分布与学习的辅助表示一起建模，而不是仅在 RGB 空间中建模图像分布，并且只需要三个前向传递来预测所有像素的概率，而不是为每个像素分别预测一个。此外，我们发现学习辅助表示至关重要，而且显著优于预定义的辅助表示，如 RGB 金字塔。
Nov, 2018
通过充分利用现有的深度神经网络容量，本研究提出了一种改进压缩的方法，通过引导潜在特征学习更丰富和多样化的特征来实现更好的重构效果，并将通道相关的特征去相关损失集成到优化过程中，实验证明该方法在两种传统压缩方法上提高了压缩性能，没有增加额外的复杂性，可以作为类似方法的即插即用的优化方案。
Mar, 2024
通过 LDPC 编码的数据直接进行分类，不需要任何形式的解压缩，结果表明，与 Huffman 编码和算术编码相比，LDPC 编码的分类效果更好，并且需要更小的学习模型。
Mar, 2024
本文介绍了一种用于大型语言模型中处理长上下文序列的新方法，名为 Dropping In Convolutions for Long Context Compression（LoCoCo）。LoCoCo 通过使用一个固定大小的键 - 值（KV）缓存来提高推理和微调阶段的效率，通过自适应融合技术将先前的 KV 对与输入的标记混合，以最小化上下文信息的损失并确保准确的注意力建模。通过动态计算每个 KV 缓存槽的混合权重来实现标记的整合。相比于相同缓存大小的基准模型，LoCoCo 在推理期间成功地将多达 3482 个标记压缩到 128 大小的 KV 缓存中，并保持了与完整序列相当的性能提升了 0.2791 个单位的准确率。在后训练调优过程中，我们还使用大小为 512 的 KV 缓存有效地将上下文长度从 4K 扩展到 32K，达到了与整个序列进行微调相似的性能。
Jun, 2024
通过上下文压缩和领域内参数高效微调，我们提出了一种解决大型语言模型处理长篇内容的挑战的新方法，使得 LLM 能够创建原始上下文的简洁表示，并有效地检索相关信息以准确回答问题。我们介绍了 LLoCO，一种通过使用 LoRA 组合上下文压缩、检索和参数高效微调的技术，将 4k 个令牌的 LLaMA2-7B 模型的有效上下文窗口扩展到处理高达 128k 个令牌。在几个长上下文问答数据集上对我们的方法进行评估，结果显示 LLoCO 在推理过程中使用 $30 imes$ 更少的令牌，显著优于上下文学习，实现了高达 $7.62 imes$ 的加速，大大降低了长文档问答的成本，为高效处理长上下文提供了有希望的解决方案。我们的代码公开可用于该 https URL。
Apr, 2024
本文研究了样本压缩方案与统计学习之间的关系，探究了学习能力与可压缩性之间的等价性，并在多类别分类问题中研究了统计学习理论。作者证明了在零 / 一损失分类的情况下，可学习性等价于对数样本大小的压缩，并且一致收敛意味着恒定大小的压缩。作者还探究了在 Vapnik 的一般学习设置下压缩能力与学习能力的等价性，并给出了一些在多类别分类问题中的应用。
Oct, 2016