Jan, 2024

从南美大草原到像素屏幕：对盖乌乔文化遗产进行 Fine-Tuning 的扩散模型

PDF
TL;DR用生成模型捕捉并保护地域和社区独特的方面，本文讨论了潜在扩散模型在代表本地文化概念、历史人物和濒危物种方面的潜力，以巴西里约格兰德州的文化遗产为例进行了研究。
generative aitext-to-image modelslatent diffusion modelslocal cultural conceptscultural and historical identity
发现论文，激发创造
  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • LDM3D：3D 的潜在扩散模型

    本研究提出了一种潜在扩散模型用于 3D (LDM3D)，可以从给定的文本提示生成图像和深度图像数据，使用生成的 RGB 和深度图像可以创建令人沉浸的和交互性 360 度视图体验，有潜力革新娱乐、游戏、建筑和设计等行业。

    May, 2023

  • 使用 LLMs 和潜在扩散模型进行互动式时尚内容生成

    该研究提出了使用基于能量的模型（EBMs）的扩散模型的等价性，建议组成多个概率分布的方法，并提出了一个通过 LLM 引导文本生成图像生成新时尚装配和虚拟试穿的流程，其结果表明使用 LLM 生成具有全球创意和文化多样性的时尚风格并减少偏见。

    May, 2023

  • 让潜在的扩散模型能够在黑暗中看见

    通过将训练于大规模开放领域数据集的扩散模型变为生成先验，提出了一种新颖的基于扩散模型的低光图像增强方法，称为 LDM-SID，该方法通过向扩散模型中插入一组所提出的驯服模块来引导其生成过程，并在观察到扩散模型不同部分的特定生成先验后，将低频内容生成和高频细节维护二分，从而实现对扩散模型的优化结构生成和细节增强。广泛实验证明该方法在定量评估中实现了最先进的性能，并在视觉比较中显示出显著的优越性，从而强调了利用预训练的扩散模型作为 LLIE 任务的生成先验的有效性。

    Dec, 2023

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 循环去噪：用于文本到视频生成的迭代式去噪

    通过复用和扩散的框架 VidRD，使用潜在扩散模型（LDM）和自编码器实现文本到视频生成，获得了良好的定量和定性结果。

    Sep, 2023

  • RSDiff：基于扩散模型的遥感图像生成

    通过渐进式扩散模型，纯基于文本提示逐渐生成高分辨率的卫星图像，并在远程感知领域取得了优越的超分辨率结果与真实地理特征的生成。

    Sep, 2023

  • 扩散刷：基于潜在扩散模型的 AI 生成图像编辑工具

    本文提出了一种基于潜在扩散模型的工具 Diffusion Brush，用于对人工智能合成的图像进行高效的局部微调，在保留图像原始内容的同时，引入新的随机噪声模式以定位特定区域，通过与其他图像修复技术和编辑软件的比较，验证了我们这种方法的可用性和有效性。

    May, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 潜变扩散模型用于属性保护的图像匿名化

    本文介绍了基于潜在扩散模型（LDMs）的图像匿名化的方法，该方法是首次根据 LDMs 进行图像匿名化的方法，实现了身份混淆并更好地保留了原始图像内容。

    Mar, 2024