controlnet | BriefGPT - AI 论文速递

关键词controlnet

搜索结果 - 26

CVPROmniControlNet：双阶段整合的条件图像生成
我们提供了一种双向集成的方法，将外部条件生成算法整合到一个密集预测方法中，并将其单独训练的图像生成过程合并到一个模型中。我们提出的 OmniControlNet 通过任务嵌入引导和文本嵌入引导，将条件生成和图像生成过程整合到一个模型中，从而
PDF25 days ago
PoseCrafter：灵活姿态的一次性个性化视频合成
该论文介绍了 PoseCrafter，一种根据灵活姿势控制进行个性化视频生成的单次方法，通过稳定扩散和 ControlNet 构建，通过精心设计的推理过程，生成高质量视频而无需对应的真实帧。
PDFa month ago
加速基于扩散的盲超分辨率图像恢复与对抗性扩散蒸馏
AddSR 通过结合蒸馏和 ControlNet 的思想，提出了一种基于预测自优化策略和时间步自适应的损失函数的盲超分辨率方法，可以在更短的时间内生成更好的恢复结果。
PDF3 months ago
DeeDSR：通过降级感知稳定扩散实现实际场景图像超分辨率
我们引入了一种新的、适应于低分辨率图像的、双阶段的、具有降级意识的框架，通过使用无监督对比学习获取图像降级的表示，并将降级意识模块集成到简化的 ControlNet 中，在各种降级情况下灵活地适应不同的降级，有效恢复更加精确和逼真的细节，表
PDF3 months ago
CVPR使用扩散模型生成复合图像的阴影
通过使用自然阴影图像基础模型以及强制调制模块，此研究通过相关数据集的实验证明了提出的阴影生成模型在图像合成领域具有卓越的性能。
PDF3 months ago
SCP-Diff: 空间 - 分类联合先验的照片级语义图像合成功能
开发了一种名为 SCP-Diff 的方法来解决语义图像合成中存在的两个主要问题，即大型语义区域内的奇怪子结构和内容与语义掩码的不一致，并在 Cityscapes 和 ADE20K 上取得了卓越成果。
PDF4 months ago
GaussCtrl: 多视图一致的文本驱动 3D 高斯点绘制编辑
提出了 GaussCtrl，一种使用文本驱动的方法来编辑由 3D Gaussian Splatting (3DGS) 重建的 3D 场景。该方法首先通过使用 3DGS 渲染一系列图像，然后使用基于输入提示的预训练二维扩散模型 (Contro
PDF4 months ago
CVPRNoiseCollage: 一种基于噪声裁剪和合并的布局感知文本到图像扩散模型
本研究提出了一种新颖的布局感知的文本到图像扩散模型 NoiseCollage，它通过独立估计噪音并将其裁剪和合并为单个噪音，从而解决了文本和布局条件之间存在的不匹配以及生成图像质量下降的问题。定性和定量评估结果表明，NoiseCollage
PDF4 months ago
控制网络结合隐式掩码：以控制网络在轮廓跟踪能力方面的案例研究
通过分析无明确掩码的不同退化级别的影响，本文提出一种先进的形状感知控制网络，包含了退化评估器和形状先验调制块，用于提高无明确掩码的可控性，并通过自适应地调节模型的轮廓跟踪能力来消除噪音，使 ControlNet 能够稳健地解释不准确的空间条
PDF4 months ago
使用现成的扩散模型生成印刷文本
该研究提出了一种排版文本生成系统，结合了扩散模型的控制方法和混合潜在扩散模型，实现了在排版设计上添加和修改文本，并指定字体风格、颜色和文本效果。通过合适的边缘条件，该系统能够生成指定字体的文本，同时应用提前设定的效果，如阴影和倒影，成功地将
PDF4 months ago
使用 ControlNet 和交叉注意控制实现基于局部描述的布局到图像生成
通过修改跨注意力矩阵，在保持图像质量的同时改进控制能力，本研究以 ControlNet 为例，研究了几种现有的跨注意力控制方法的局限性，并提出了一种新的跨注意力操纵方法，通过定位描述来实现对生成图像的精细控制。
PDF4 months ago
PIXART-δ: 快速且可控的图像生成与潜在一致性模型
通过将 Latent Consistency Model（LCM）和 ControlNet 集成到先进的 PIXART-α 模型中，本技术报告介绍了 PIXART-δ，一个文本到图像综合框架。PIXART-δ 结合了 LCM，显著提高了推断
PDF6 months ago
FineControlNet：利用空间对齐文本控制注入进行图像生成的精细级文本控制
通过人体姿势图片的几何控制和实例级别的文本提示，FineControlNet 实现了每个实例外观的精细控制，同时保持精确的姿势控制能力，相对于现有方法，FineControlNet 在生成遵循用户提供的实例特定文本提示和姿势的图像方面表现出
PDF7 months ago
CCM：为文本到图像一致性模型添加条件控制
通过采用三种不同的策略，在现有的一致性模型中添加类似 ControlNet 的条件控制，即使在低层细节和真实感控制方面依然困难，将 ControlNet 直接应用于高级语义控制的一致性模型，并通过 Song 等人提出的一致性训练从头开始训练
PDF7 months ago
HeadArtist: 自注意力配准的文本驱动三维头部生成
该研究提出了一种名为 HeadArtist 的方法，通过文本描述生成 3D 人头模型，采用具有里程碑引导的 ControlNet 作为生成先验，通过自分数蒸馏（SSD）的方式优化参数化 3D 人头模型，实验结果表明这种方法生成的高质量 3D
PDF7 months ago
FreeControl：无需训练的任意文本到图像扩散模型的空间控制与任意条件
FreeControl 是一种无需训练的可控文本生成方法，支持多种条件、架构和检查点，并在定性和定量实验中展现了卓越性能。
PDF7 months ago
稳定扩散生成图像中非标准手势的检测与修复
我们介绍了一种处理稳定扩散生成的手部图像中解剖学不准确性的流程。我们首先构建了一个专门针对手部异常的数据集，以有效训练我们的模型。一个经过微调的检测模型对这些异常的精确定位至关重要，确保了有针对性的修正。身体姿势估计有助于理解手部的方向和位
PDF7 months ago
元控制网络：通过元学习增强任务适应性
介绍了一种新的元控网络方法，它采用了任务不可知的元学习技术和新的层冻结设计，大大缩短了学习步骤，并在边缘任务中实现了零 - shot 适应性，在更复杂的非边缘任务中，如人体姿势，仅需 100 个微调步骤就能实现控制，优于现有方法。
PDF7 months ago
Zero123++: 一种将单张图像转化为一致多视角扩散基模型
使用 Zero123++，一种图像条件扩散模型，从单个输入视图生成 3D 一致的多视图图像。通过开发各种调整和训练方案，最小化从现成的图像扩散模型（如稳定扩散）微调的工作量，以充分利用预先训练的 2D 生成先验。Zero123++ 在从单张
PDF8 months ago
潜在扩散中的场景图条件
利用 ControlNet 和 Gated Self-Attention，我们提出了多种方法来解决稀缺的图像和场景图数据，通过场景图生成高质量图像，超越了之前的方法。
PDF9 months ago