inference time reduction | BriefGPT

关键词inference time reduction

搜索结果 - 5

预训练掩码模型实现全能零样本降噪器
基于其中提出的 Masked Pre-train then Iterative fill (MPI) 方法，该研究在图像去噪方面取得了显著的进展，能够在有限迭代次数内高质量地去噪，同时大幅减少推理时间。
PDF5 months ago
QWID：量化杂草识别深度神经网络
本文提出了一种有效的农业杂草分类解决方案，该方案在推断时优化了模型性能，同时尊重农业领域的约束。我们通过使用 8 位整数（int8）量化的量化深度神经网络模型对包含 9 个杂草类别的数据集进行分类，这与标准的 32 位浮点（fp32）模型有
PDF8 months ago
Mask CTC：基于 CTC 和 Mask 预测的非自回归端到端 ASR
本文提出了 Mask CTC 框架，它是一种新颖的非自回归端到端自动语音识别（ASR）框架，它通过加强 CTC 的输出来生成序列，并使用 Transformer 编码器 - 解码器进行训练。实验结果表明，相比标准的 CTC 模型，Mask
PDF4 years ago
2PFPCE：基于条件熵的两阶段过滤剪枝
本文提出了一种新的基于条件熵的两阶段滤波器修剪框架，即 2PFPCE，来压缩 CNN 模型并减少推理时间，实验结果表明，将整体和逐层两种滤波策略结合起来可以实现更高的神经网络压缩比，并且可以取得高达 10 倍的 FLOPs 降低和 46%
PDF6 years ago
BranchyNet: 通过从深度神经网络中早期退出实现快速推理
本文介绍一种新颖的深度网络架构 ——BranchyNet，该架构通过引入额外的支路分类器，允许预测结果提前退出网络，实现较高置信度下的快速推理，以此同时提高网络的分类准确度，并有效地降低网络的推理时间。
PDF7 years ago