diffusion transformers | BriefGPT

关键词diffusion transformers

搜索结果 - 21

DiTFastAttn：扩散变压器模型的注意力压缩
Diffusion Transformers（DiT）在图像和视频生成方面表现出色，但由于自注意力的二次复杂度而面临计算挑战。我们提出 DiTFastAttn，这是一种新颖的后训练压缩方法，用于减轻 DiT 的计算瓶颈。我们确定了 DiT
PDF20 days ago
AV-DiT：联合音频与视频生成的高效音频 - 视觉扩散变压器
通过使用基于 Transformer 的 diffuser，我们介绍了 AV-DiT，一种用于生成高质量真实视频的音频 - 视觉扩散变压器，具有多模式内容创作的显著效能，并在联合音频 - 视觉生成中具有最先进的性能。
PDF21 days ago
基于双向 SSM 的扩散曼巴高效三维形状生成
为了解决传统 attention 机制在高分辨率三维形状生成中的可扩展性问题，我们引入了一种新颖的基于 Mamba 架构的扩散生成模型（DiM-3D），通过利用 Mamba 架构的高效性和线性复杂度，DiM-3D 在维持线性复杂度的同时实现
PDF25 days ago
Lumina-Next: 用 Next-DiT 让 Lumina-T2X 更强更快
Lumina-Next 是一种改进的 next-generation generative AI，使用 diffusion transformers 进行 text-to-image generation 和 multilingual ge
PDFa month ago
ViDiT-Q: 图像和视频生成的扩散变压器的高效准确量化
Diffusion transformers have challenges in quantization, but the proposed ViDiT-Q method achieves lossless W8A8 quantizat
PDFa month ago
学习缓存：通过层缓存加速扩散变压器
Diffusion Transformers 在缓存机制和学习缓存等方面具有高效的推理能力，优于传统的采样方法，具有多个主题和研究领域。
PDFa month ago
高效的 FP4 混合量化扩散变换器（HQ-DiT）
Diffusion Transformers (DiTs) are improved by Hybrid Floating-point Quantization (HQ-DiT), a post-training quantization
PDFa month ago
Human4DiT: 基于 4D 扩散变换的自由观看人体视频生成
我们提出了一种新颖的方法，可以从单个图像在任意视角下生成高质量、时空连贯的人类视频。我们的框架结合了 U-Nets 的精确条件注入和扩散变换器的在视角和时间上捕捉全局相关性的优势。核心是一个级联的 4D 变换器架构，可以分解关注点以跨视角、
PDFa month ago
PTQ4DiT：扩散变压器的后训练量化
为了解决 Diffusion Transformers（DiTs）中特定的量化挑战，本文提出了一种特定的 Post-training Quantization（PTQ）方法，称为 PTQ4DiT。通过 Channel-wise Salien
PDFa month ago
使用双向 SSM 扩展 Diffusion Mamba 以实现高效图像和视频生成
Diffusion Mamba (DiM) is a novel architecture that effectively addresses the computational complexity of traditional dif
PDFa month ago
PipeFusion: 扩散变压器模型推理的位移块并行处理
介绍了 PipeFusion 的一种新方法，利用多 GPU 并行性来解决扩散变压器（DiT）模型生成高分辨率图像的高计算和延迟挑战。通过分割图像并在多个设备上分布网络层，以管道并行的方式编排通信和计算，利用相邻扩散步骤输入的高相似性，通过重
PDFa month ago
U-DiTs：在 U 形扩散变压器中降采样 Token
将变换器架构引入扩散任务，对潜在空间图像生成进行了研究，发现 U-Net 架构只在 U-Net 归纳偏差中略有优势，提出了 U 型扩散变换器（U-DiT）模型，通过降低计算量并在自注意力中进行令牌下采样，在性能上超过了 DiT-XL/2。
PDF2 months ago
Diffscaler：增强扩散变压器的生成能力
通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。
PDF3 months ago
使用扩散视觉变换器解决遮蔽拼图难题
利用扩散转换器生成基于可视内容的图像拼图或视频帧的位置信息，从而准确地组装拼图块，即使存在缺失块，该方法在多个数据集上达到了最先进的性能。
PDF3 months ago
视觉自回归建模：通过下一尺度预测实现可扩展图像生成
Visual AutoRegressive modeling (VAR) improves autoregressive image generation surpassing diffusion transformers, exhibit
PDF3 months ago
FiT: 弹性视觉 Transformer 用于扩散模型
为了克服传统图像处理方法中目标域以外的图像分辨率挑战，本文引入一种名为 Flexible Vision Transformer (FiT) 的变压器架构，它专门用于生成具有无限制分辨率和宽高比的图像。与传统的静态分辨率网格方式不同，FiT
PDF4 months ago
SiT: 基于可扩展插值变换器的流与扩散生成模型探索
SiT 是一种建立在 DiT 基础之上的生成模型，通过插值框架实现了对各种设计选择的模块化研究，从离散和连续时间学习到模型学习的目标选择，插值连接分布以及确定性或随机采样器等。在相同的基础、参数数量和 GFLOPs 下，通过精心引入上述因素
PDF6 months ago
快速训练极端掩码的扩散变压器用于三维点云生成
FastDiT-3D is a novel masked diffusion transformer designed for efficient generation of high-quality 3D point clouds, ac
PDF7 months ago
DiT-Head：使用扩散变压器进行高分辨率说话人合成
我们提出了一种基于扩散变压器的新型对话头合成流程，利用音频作为条件来驱动扩散模型的去噪过程。我们的方法具有可扩展性，可以推广到多个身份，同时产生高质量的结果。通过与现有的对话头合成方法进行比较，我们对我们提出的方法进行训练和评估，并展示了我
PDF7 months ago
GenTron：深入探究扩散变压器在图像和视频生成中的应用
该研究探索了用于图像和视频生成的基于 Transformer 的扩散模型，并介绍了 GenTron，它是一族使用基于 Transformer 的扩散的生成模型，扩展到文本到视频生成，并在人类评估中取得了显著的视觉质量改进。
PDF7 months ago