CVPRApr, 2024

LD-Pruner：使用任务无关见解高效修剪潜在扩散模型

PDF
TL;DR通过利用潜在空间进行剪枝过程，LD-Pruner 方法旨在提供用于压缩 LDMs 的有效性评估模型性能的方法，从而减少训练的高计算成本和提高推理速度。
latent diffusion modelsld-prunerstructured pruninginference speedcomputational cost
发现论文，激发创造
  • 扩散模型的结构剪枝

    通过在预先训练的扩散模型上进行 Taylor 展开来识别重要的权重，我们提出了 Diff-Pruning 方法，该方法可以高效压缩 diffusion 模型，实现训练和推断过程中 50% 左右的 FLOPs 降低，同时保持与原模型相当的生成行为。

    May, 2023

  • LAPTOP-Diff：层剪枝和规范蒸馏用于压缩扩散模型

    在 AIGC 时代，通过引入层修剪和标准化蒸馏（LAPTOP-Diff）压缩扩散模型的 U-Net，我们实现了 50% 的修剪比例下 PickScore 仅下降 4.0%，优于其他方法的 8.2%。

    Apr, 2024

  • 差分隐私潜在扩散模型

    研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

    May, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 无梯度结构剪枝与未标记数据

    本文提出一种基于无标签数据的梯度无关结构裁剪框架，能够在不降低准确度的情况下，显著地减少预训练模型的计算成本，从而提高大型语言模型的推理效率。

    Mar, 2023

  • 潜在扩散模型的高效量化策略

    本研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩 LDMs。

    Dec, 2023

  • 多源潜变扩散模型的视频编辑

    FLDM 是第一个将现成的图像编辑方法融入视频 LDM 的视频编辑方法，通过在视频 LDM 中应用现成的图像编辑方法，FLDM 能够改善编辑视频的文字对齐和时间一致性。

    Oct, 2023

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 领域特定的 LLM 提取器剪枝

    通过识别关键权重，提出了一种创新的针对特定领域的压缩方法 D-Pruner，通过提取关键权重，实现 Compressed, domain-specific 和 task-agnostic 的 LLM，具有广泛适用性和特定性。

    May, 2024