通过部署批处理技术和资源有限的边缘设备上的模型量化，我们在此论文中提出了一种针对基于 Transformer 解码器的大语言模型推断的边缘智能优化问题，旨在通过批处理调度和通信、计算资源的联合分配来最大化推断吞吐量，同时考虑边缘资源约束和不同用户对延迟和准确性的需求。为了解决这个 NP-hard 问题，我们开发了一种在可行时间复杂度内运行的带有在线树剪枝的最优深度优先搜索算法（DFTSP）。模拟结果表明，DFTSP 在各种用户设置和量化技术中超越了其他批处理基准，并且与蛮力搜索方法相比，它的时间复杂度降低了 45% 以上。

May, 2024

通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

Feb, 2020

该研究介绍了一种创新的 LLM 压缩方法，使用量子启发的张量网络来压缩模型的相关空间，实现对 LLaMA-2 7B 模型的压缩，使其仅保留原始大小的 30%，并在经过简要分布式重新训练后恢复原始准确率的 90% 以上。

Jan, 2024

我们的研究工作通过指令调整大型语言模型的推理过程，提升其效率同时保持生成质量，这是推广应用这类模型的重要一步。

Oct, 2023

我们介绍了一种分层分辨率计算的解决方案，使得在时间约束下可以在较早的阶段获得低分辨率的结果，提高了基于截止日期的系统的效果；并且我们的实验结果显示，分层特性增加了满足截止日期的可能性，使得大规模计算具备了适应性和透明度。

Feb, 2024

通过引入针对大型语言模型（LLMs）的查询感知推理（Q-LLM）系统，我们解决了在序列中捕捉长距离依赖以实现深层语义理解的问题，并且在 LLaMA3 和 Mistral 基准上得到了显著的性能提升。

Jun, 2024

使用 FlattenQuant 方法在大型语言模型中实现低比特量化，通过将张量中的大通道展平以显著减少张量的最大值，本方法能够直接使用 4 位来实现 LLMs 中线性层计算的 48.29%，并使用 8 位来处理其余层，从而实现高达 2 倍的速度提升和 2.3 倍的内存减少，而准确度损失微不足道。

Feb, 2024

我们提出了一种自动代码生成的新方法，用于支持 LLMs（如 LLaMA 或 OPT）上的量化生成推理，并在现成的 CPU 上做了研究，结果表明我们的方法在性能和准确性方面较好。

Jul, 2023

大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研究方向。

Apr, 2024

大多数大型生成模型的推理计算可以通过将权重和激活值均转换为 4 位来加速计算，同时保持良好的准确性；我们通过名为 QUIK 的混合量化策略实现这一目标，该策略将大多数权重和激活值压缩为 4 位，将一些异常值保留在较高精度；关键是，我们的方案专注于计算效率，提供高效的逐层 GPU 内核，相对于 FP16 执行，端到端的吞吐量可提高最多 3.1 倍。

Oct, 2023