通过引入动态切换层 (DSL) 扩展了 Gated Compression 层的优点，以应对无监督学习场景，从而实现了在不需要标记数据的情况下保持能源效率，并通过对数据的内在结构进行模型复杂度适应，为资源受限设备上的智能应用提供了一个重要解决方案。

Apr, 2024

在设备上的机器学习（ML）通过将 ML 计算移至日常个人设备，提供了改善隐私、响应性和新型智能用户体验的可能性。本文通过与苹果的 30 位专注于高效模型开发的专家进行的访谈研究，整理了专家在模型压缩方面通过实际经验所积累的知识，提供了实用的设计过程、权衡和技术策略，旨在将该领域更广泛地引入人类中心的 ML 社区，并给出了相应的设计建议以帮助简化这项工作的难度，推广在设备上进行的 ML 应用。

Oct, 2023

通过动态内存压缩 (DMC) 方法，我们可以提高基于 Transformers 的大型语言模型 (LLMs) 在自回归推理中的吞吐量，在保持原有性能的同时，使用不同的压缩率来适应不同的注意头和层级，并可以与其他技术相结合以提供更好的结果。

Mar, 2024

AdaDeep 是一种自适应深度神经网络压缩框架，可在考虑性能和资源约束方面自动选择最合适的压缩技术和相应的压缩超参数，可以在减少 DNN 的延迟、提高能效和减少存储的同时保持准确率基本不变。

Jun, 2020

本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

Feb, 2017

本文介绍了一种层次生成式图像压缩模型，该模型支持多任务分析，通过学习感知图像压缩方法提供可压缩的紧凑表示，并实现高分辨率图像重建以及压缩率和感知性能的平衡。实验结果表明，该模型对于 RGB 基于方法可以降低 99.6% 的比特率并实现可比拟的分析结果。

Apr, 2023

将静态压缩和动态压缩技术共同融合，从而获得一个输入自适应的压缩模型，以更好地平衡总体压缩比和模型性能，并通过子组门扩充技术解决性能下降问题。

Oct, 2023

本文提出了针对神经自然语言理解模型的极端压缩技术，并在资源受限设备上进行了实验。在任务知晓的全流程压缩方法中，我们将词嵌入压缩与 NLU 任务学习相结合，经大规模商业 NU 系统测试，实现了 97.4% 的压缩率，同时预测性能下降不到 3.7%。

Nov, 2020

本文介绍了一种名为 Sparsely-Gated Mixture-of-Experts layer 的新型条件计算方法，通过使用该方法在语言建模和机器翻译等任务中获得比现有技术更好的结果，而只需在计算效率方面付出少量代价。

Jan, 2017

机器学习和生成型人工智能的巨大能源消耗对运营成本、电力传输和环境可持续性产生负面影响。然而，通过 Zeus 和 Perseus 的两项最新工作，我们发现软件在机器学习能耗优化方面起着关键作用。特别是对于大型语言模型，由于其模型大小和能源需求增长速度超过硬件效率改进的速度，因此我们主张采用跨层次方法来优化机器学习系统中的能源利用，其中硬件提供支持架构，推动能源高效软件的进一步发展，软件则利用和抽象硬件的特性，开发能够实现与硬件无关的能源效率提升技术。

Apr, 2024