可增量计算的神经网络：动态输入的高效推理

Jul, 2023

可增量计算的神经网络：动态输入的高效推理

Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs

Or Sharir, Anima Anandkumar

TL;DR深度学习和增量计算方法，采用向量量化处理输入数据，通过离散化中间值以便复用信息，应用于 Transformer 架构，实现了复杂度与输入变动比例成正比的高效增量推理算法，并通过实验证明在文档分类中达到了和传统方法几乎相等的准确性，但处理微小编辑序列时所需操作次数降低到了原先的 12.1 倍。

Abstract

deep learning often faces the challenge of efficiently processing dynamic inputs, such as sensor data or user inputs. For example, an AI writing assistant is required to update its suggestions in real time as a document is edited. Re-running the model each time is expensive, even with

deep learning incremental computing vector quantization transformers architecture document classification

发现论文，激发创造

深度神经网络的高效在线处理

本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

Jun, 2023

量化卷积神经网络以用于低功耗高吞吐量推理引擎

本文提出了一种量化方案，通过在参考浮点模型上校准而不是重新训练来确定量化方案参数，从而实现了基于更高效的算术进行推理，并且在量化后的结果中，终端到终端精度可与基准模型相当。

May, 2018

神经网络的量化和训练，用于高效的整数运算推理

本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

Dec, 2017

训练自适应深度网络的改进技术

本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。

Aug, 2019

动态网络量化用于高效视频推理

本文提出动态网络量化框架，依据每个输入帧选择最佳精度以实现高效的视频识别，实验结果显示，在四种具有挑战性的基准数据集上，与现有先进方法相比，该方法提供了显著的计算和内存使用节约，同时保持竞争性能。

Aug, 2021

深度学习推理的整数量化：原理与实证评估

本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种 8 位量化工作流，能够在所有研究的网络上保持 1% 的浮点基线精度，包括更难量化的模型，如 MobileNets 和 BERT-large。

Apr, 2020

用于粒子探测器边缘低延迟推断的深度神经网络自动异构量化

本文介绍了一种利用分层、分参数类型的自动量化过程来设计深度神经网络模型的方法，旨在使模型能够在芯片上进行高精度、纳秒级推理和完全自动化部署。这对于 CERN 大型强子对撞机中的事件选择过程至关重要，其中资源严格限制，需要一种纳秒级的推理和降低 50 倍的资源消耗。

Jun, 2020

基于蒸馏和量化的模型压缩

本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

Feb, 2018

深度神经网络的完全动态推断

提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

Jul, 2020

深度神经网络的贝叶斯增量学习

本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法，使用贝叶斯方法更新后验概率，与传统方法相比实验表明可以取得更好的效果。

Feb, 2018