Apr, 2024

Diffusion-RWKV：为扩展扩散模型的 RWKV-Like 架构

PDF
TL;DR该论文介绍了一种在图像生成任务中应用于扩散模型的一系列基于 NLP 中 RWKV 模型的架构，通过针对性的修改，使其能在高分辨率图像生成任务中高效处理，减少计算复杂度。在条件和无条件图像生成任务上的实验结果表明，Diffusion-RWKV 在 FID 和 IS 指标上达到或超过现有的 CNN 或基于 Transformer 的扩散模型的性能，同时显著减少总计算 FLOP 使用。
transformersdiffusion modelimage generationrwkv modelcomputational complexity
发现论文，激发创造
  • Vision-RWKV：高效可扩展的基于 RWKV 类架构的视觉感知

    本研究介绍了 Vision-RWKV（VRWKV），这是一种从 NLP 领域的 RWKV 模型中修改而来并针对视觉任务进行了必要的改进的模型，它具有较低的空间聚合复杂性，能够高效处理高分辨率图像，无需窗口操作，并具有与 ViT 相媲美的分类性能，更快的速度和更低的内存使用，从而显示了 VRWKV 作为视觉感知任务的更高效替代品的潜力。

    Mar, 2024

  • RWKV：为 Transformer 时代重新设计 RNN

    本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transformer，也可以被阐释为 RNN，从而在训练期间并行计算，并在推理期间保持计算和记忆的复杂度恒定，从而成为第一个可扩展到数十亿参数的非 Transformer 架构，实验表明，RWKV 的表现与同样大小的 Transformer 相当，在序列处理任务中为权衡计算效率和模型性能迈出了重要的一步。

    May, 2023

  • RRWKV: 捕捉 RWKV 中的长程依赖

    本文提出了回顾性接收加权键值（RRWKV）架构，通过将回顾能力融入到 RWKV 中，有效地吸收信息，同时保持存储和计算效率，从而解决了 RWKV 架构的局限性，能够更好地捕捉长程依赖。

    Jun, 2023

  • 扩散模型生成逼真的视频

    通过扩散建模，我们提出了一种基于转换器的 W.A.L.T 方法，用于逼真视频生成。我们采用了两个关键设计决策：一是使用因果编码器在统一的潜在空间中联合压缩图像和视频，实现跨模态的训练和生成；二是为了记忆和训练效率，我们使用了一个针对联合空间和时空生成建模的窗口注意力架构。这些设计决策使我们能够在已知的视频 (UCF-101 和 Kinetics-600) 和图像 (ImageNet) 生成基准上达到最先进的性能，而不使用分类器引导。最后，我们还训练了三个模型的串联，用于文本到视频生成任务，包括基本的潜在视频扩散模型和两个视频超分辨率扩散模型，以每秒 8 帧生成 512 x 896 分辨率的视频。

    Dec, 2023

  • DiffiT：用于图像生成的扩散视觉 Transformer

    本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

    Dec, 2023

  • RWKV-TS：超越传统循环神经网络的时间序列任务

    传统的循环神经网络在时间序列任务中曾占据主导地位，但最近在各个时间序列任务中逐渐衰退，因此我们设计了一种高效的基于循环神经网络的时间序列任务模型 RWKV-TS，该模型具有三个独特特点：（一）$O (L)$ 时间复杂度和内存使用的新型循环神经网络架构；（二）相较于传统循环神经网络更好地捕捉长期序列信息的能力；（三）具有高计算效率和有效规模扩展性的特点。通过大量实验，我们的 RWKV-TS 模型与最先进的基于 Transformer 或卷积神经网络模型相比具备竞争力的性能表现，特别值得注意的是 RWKV-TS 不仅性能可比，而且具有较低的延迟和内存使用。RWKV-TS 的成功鼓励了在时间序列领域中进一步探索和创新，其具备竞争性能、低延迟和高效内存使用的特点使其成为未来时间序列任务研究的有希望方向。

    Jan, 2024

  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • 所有都值得一提：一种适用于扩散模型的 ViT 主干网络

    本篇研究提出了一种基于 Vision Transformers 构建的简单通用的 U-ViT 架构，通过对时间、条件和噪声图像块等所有输入采用标记方法，并在浅层和深层之间采用长跳过连接，实现与同等大小 CNN-based 的 U-Net 相似的无条件和类条件图像生成，以及文本到图像生成任务的优化，具有不错的 FID 得分。该研究结果表明，对于基于扩散的图像建模，长跳过连接至关重要，而 CNN-based U-Net 中的下采样和上采样算子并非总是必要的。

    Sep, 2022

  • Diffscaler：增强扩散变压器的生成能力

    通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。

    Apr, 2024

  • 大数据训练的扩散模型具有可迁移的视觉模型

    通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

    Mar, 2024