Feb, 2024

大规模计算中的连续改进：推进模型推理应用

PDF
TL;DR我们介绍了一种分层分辨率计算的解决方案，使得在时间约束下可以在较早的阶段获得低分辨率的结果，提高了基于截止日期的系统的效果；并且我们的实验结果显示，分层特性增加了满足截止日期的可能性，使得大规模计算具备了适应性和透明度。
layered-resolution computationdeadline-based systemsapproximate versionadaptive resolutionlayering feature
发现论文，激发创造
  • CQIL：并发计算准独立层优化推理延迟

    大规模语言模型中的并行计算减少推理延迟，提高性能。

    Apr, 2024

  • 支持弹性推理的复杂分析的模型切片 成本和资源限制

    本文提出一种称为模型切片的算法，通过将模型分割成多个组，使其能够在既定的计算资源预算内动态地提供预测结果，从而在有效地支持按需工作负载的基础上实现弹性推理成本。

    Apr, 2019

  • 多分辨率在线确定性退火：一种层次和渐进式学习架构

    本研究提出了一种基于渐进分区多分辨率数据空间的多目标分层学习结构，能够通过两个时间量级的随机逼近算法来逐步增加学习架构的复杂性，获取任务下特定数据空间的最优划分。

    Dec, 2022

  • 自适应计算的推理学习

    本文说明自适应计算对于学习不同难度样例所需推断步骤的有效性，且学习正确推断步数是困难的；还介绍了首个涉及自适应计算时间的模型，不仅在与没有自适应部分的类似模型相比性能更佳，还能深入理解模型的推理过程。

    Oct, 2016

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • 利用分治原则提高机器学习推理性能

    本文探讨了在 CPU 上部署机器学习模型的缩放问题，提出了一种基于分而治之原则的简单而有效的方法来解决这个实际重要的问题，在 OnnxRuntime 框架中实施并用几个用例来评估其有效性，包括用于 OCR 和 NLP 的著名模型。

    Jan, 2023

  • 通过模型冻结加速深度学习推理

    通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

    Feb, 2020

  • 变分扫掠：用于大分辨率图像的高效推断

    提出了一种使用代理分布降低高分辨率图像分类的推理和存储成本的方法，并介绍了一个新的原则性变分下界来捕捉代理分布后验与原始图像坐标空间之间的关系以最大化条件分类似然函数。在合成基准测试和现实世界大分辨率 DSLR 相机图像数据集上进行实证的结果表明，我们的方法产生了可比较的结果，而且推理速度快了 10 倍并且消耗的内存更少。即便是处理复杂 3D 渲染场景中的 Starcraft II 小地图，我们的模型也提供了强大的定位功能。

    Dec, 2018

  • 利用统一的层跳过策略加速大型语言模型的推理

    提出了一种统一的层跳过策略，通过选择要跳过的层数来达到目标加速比，从而显著提升了推理性能和实际模型吞吐量。

    Apr, 2024

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023