Dec, 2023

DeepCache：加速扩散模型的自由之选

PDF
TL;DRDiffusion models have gained attention in image synthesis, and this paper introduces DeepCache, a training-free paradigm that accelerates diffusion models by capitalizing on temporal redundancy in denoising steps and achieving a speedup factor of 2.3x for Stable Diffusion v1.5 and 4.1x for LDM-4-G without significant decline in CLIP Score or FID on ImageNet.
diffusion modelsdeepcachesequential denoisingmodel architecturecomputational costs
发现论文，激发创造
  • DeepCache：移动端深度视觉高效缓存

    DeepCache 是一种基于时间局部性的缓存设计，能提高深度学习推理的效率且适用于移动端应用，能平衡缓存能力、资源开销和模型精度损失等问题，并在实验中展现了一定的推理时间和系统能耗的优化。

    Dec, 2017

  • 图像识别的简单缓存模型

    使用简单的键值缓存记忆提出了一种不需要重新训练或微调的方法来提高预训练模型的分类性能，并可以增强对抗攻击的鲁棒性。通过将靠近输出的层提取的特征作为键来形成键值，可以在大型图像识别模型中获得显著的性能提升。

    May, 2018

  • 通过模型冻结加速深度学习推理

    通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

    Feb, 2020

  • 优化密集前馈神经网络

    通过剪枝和迁移学习，我们提出了一种新颖的前馈神经网络构建方法，能在不损失准确率的情况下压缩参数数量超过 70%，并且通过精心选择剪枝参数，大多数精炼模型的性能优于原始模型，从而不仅有助于更高效的模型设计，而且更有效的使用。

    Dec, 2023

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017

  • 修剪神经网络的无数据骨干微调

    本文提出了一种针对深度神经网络剪枝的数据无关的微调方法，使用合成图像进行训练，并通过中间监督来模拟未剪枝网络的输出特征图。实验结果表明，该方法相对于未剪枝模型具有具有很好的性能。

    Jun, 2023

  • 知识内含：无数据模型压缩方法

    本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

    Dec, 2019

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • PaCKD: 模式聚类知识蒸馏用于压缩内存访问预测模型

    使用模式聚类知识蒸馏方法，我们提出了 PaCKD，这是一种压缩内存访问预测模型的方法，通过为每个分区训练大型模式特定的教师模型，然后从这些训练好的模式特定教师中提取知识训练一个单一轻量级的学生模型，以在保持预测性能的同时实现模型大小的 552 倍压缩。

    Feb, 2024