text-to-video synthesis | BriefGPT

关键词text-to-video synthesis

搜索结果 - 8

搜索先验使文本到视频的合成更好
本文使用搜索为基础的生成流程，将传统的文本到视频生成过程重构，并利用先前的视频作为动作先验数据库，以此增强生成视频动作的真实感。
PDFa month ago
VSTAR：用于长时间动态视频合成的生成时域护理
通过引入 GTN 概念，我们提出了一种名为 VSTAR 的方法，通过自动化生成视频摘要和时间注意力正则化技术，以改善 T2V 模型在生成长视频时的动态性，并实验证明了我们的方法在生成较长且具有视觉吸引力的视频方面的优越性。
PDF3 months ago
F3 剪枝：一种无需训练并具有广泛适用性的剪枝策略，用于更快速和更精细的文本到视频合成
近期的文本到视频综合技术在大规模数据集上利用 Transformer 或扩散模型取得了突破，但是推断这些大规模模型代价高昂。为了解决这一问题，研究探索了两个主流的文本到视频模型（基于 Transformer 和扩散模型）的推断过程，并发现了
PDF7 months ago
利用大型语言模型增强面向动态感知的文本到视频扩散
通过设计一个创新的动态场景管理器 (Dysen) 模块，该模块可以从输入文本中提取关键动作并将其以适当的时间顺序和动态场景图 (DSG) 表示转换，从而丰富了视频的场景细节，并与主干的 T2V DM 相结合来实现高质量的文本到视频生成。
PDF10 months ago
ModelScope 文本到视频技术报告
ModelScopeT2V 是一个从文本到图像合成模型演变而来的文本到视频合成模型，它包含时空块以确保一致的帧生成和平滑的运动过渡。该模型可以适应不同的帧数量，在训练和推断过程中均适用于图像 - 文本和视频 - 文本数据集。拥有 17 亿参
PDFa year ago
使用文本和结构指导生成定制视频
本文提出了一种使用文本作为上下文描述和动作结构（例如逐帧深度）作为具体指导的定制视频生成方法，涉及使用先前为静止图像合成预先训练的潜在扩散模型并引入时间模块进行视频生成的联合条件视频生成。实验结果表明，该方法在时间一致性和与用户指导的忠实度
PDFa year ago
GenerateCT: 基于文本引导的 3D 胸部 CT 生成
本文提出了 GenerateCT 方法，它是第一个用于文本条件下的计算机体层摄影（CT）生成的方法，并且构建了一个包含预训练大型语言模型和基于变压器的文本条件 3D 胸部 CT 生成结构的框架。同时，我们提出了 CT-ViT 来更有效地压缩
PDFa year ago
AADiff: 音频对齐视频生成与文本到图像扩散
本文介绍了一种新的 T2V 框架，通过引入音频信号来控制时间动态，从而使传统的 T2I 扩散生成可以与音频对齐的视频。我们提出了基于音频的区域编辑和信号平滑方法，以在视频综合的时间灵活性和一致性之间取得良好平衡，并通过实验验证了方法的有效性
PDFa year ago