May, 2024

Promptus：可替代视频传输的稳定传播的提示流

PDF
TL;DR通过 Promptus，用稳定扩散将视频帧转换成一系列的 “prompts” 传递，可以进一步降低比特率并保持质量，其渐变下降的提示匹配框架、基于低秩分解的比特率控制算法以及基于时间平滑的提示插值算法可实现自适应比特率、帧压缩和实时视频生成，并提高感知质量，减少失真帧比例，开创了超越香农极限的高效视频通信新范式。
video streamingcompression efficiencypromptusbitrate controlperceptual quality
发现论文，激发创造
  • 神经引导：优化文本到图像生成的自适应框架

    通过使用预先训练的语言模型生成与人类专家设计相似的提示语，NeuroPrompts 自适应框架可以改善文本到图像模型生成结果的质量，并提供用户对风格特征的控制。研究通过创建一个与 Stable Diffusion 相关的互动应用程序，展示了该框架的实用性。此外，通过利用大型数据集的人工设计提示，在文本到图像生成过程中，自动产生的改进提示可获得更高质量的图像。

    Nov, 2023

  • 批量指导梯度用于提示演化：增强文本到图像综合的系统性提示优化

    通过多代理框架和迭代过程，基于高质量的初始查询和动态指令优化的图文生成模型，提供了改进用户输入提示设计的机制。

    Jun, 2024

  • VidProM：用于文本到视频扩散模型的百万级实时提示展示数据集

    Sora 带来了文本到视频扩散模型的新时代，它在视频生成和潜在应用方面取得了重大进展；本文介绍了 VidProM，这是第一个由真实用户提供的包含 167 万个文本到视频提示的大规模数据集，并探讨了与之相关的研究领域和新的研究方向。

    Mar, 2024

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • VideoBooth: 基于扩散的图像引导视频生成

    本文介绍了一种使用图像提示进行视频生成的方法，通过粗粒度到细粒度的图像嵌入和细粒度的注意力注入模块，实现了对指定主题的高质量视频生成。

    Dec, 2023

  • 提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023

  • StreamPrompt: 可学习的 Prompt 引导数据选择用于高效的流学习

    StreamPrompt 使用动态的、可学习的提示方法增强数据选择，以解决流学习中的适应性和计算效率问题，并通过 Prompt Attunement 机制提高了提示的效率。在全面评估中，StreamPrompt 表现优越，并在准确性和训练时间上实现了显著的提升，从而确立了其作为可扩展和有效解决连续数据流不断变化需求的解决方案的潜力。

    Jun, 2024

  • 并非所有提示都是相等的：基于提示的文本到图像扩散模型修剪

    T2I 扩散模型的自适应提示优化裁剪 (APTP) 通过学习提示路由模型和架构代码来减少计算负担，优于单模型裁剪，在 FID、CLIP 和 CMMD 指标上具有更好的性能，并发现语义上有意义的聚类。

    Jun, 2024

  • Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

    此篇论文提出了一种名为 Prompt-Free Diffusion 的图像合成框架，该框架基于仅视觉输入，不需要文本提示就能生成新图像，其核心架构是语义上下文编码器 (SeeCoder)，该框架在图像合成方面表现出色，不仅在基于示例的合成方法方面优于先前的方法，在遵循最佳实践的提示下，也能与最先进的 T2I 模型相媲美。

    May, 2023

  • BeautifulPrompt: 文本到图像合成的自动提示工程化

    我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

    Nov, 2023