controllable generation | BriefGPT

关键词controllable generation

搜索结果 - 30

ControlVAR：探索可控的视觉自回归建模
控制可视生成的一个新框架 ControlVAR，通过像素级控制在视觉自回归建模中实现灵活高效的条件生成
PDF20 days ago
Ctrl-X: 无需指导的文本到图像生成中的结构和外观控制
Ctrl-X 是一个简单的 T2I 扩散（diffusion）控制结构和外观的框架，通过设计前馈结构控制以实现结构与结构图像的对齐以及语义感知外观转换，从而实现了对任意条件图像的全新结构和外观控制，展现了超过现有作品的图像质量和外观转换，并
PDF23 days ago
RefDrop: 基于参考特征引导的图像或视频生成中的可控行一致性
通过操作注意力模块，而不需要微调，我们揭示了一种将图像自我注意力和合成内容和参考特征之间的交叉注意力进行线性插值的流行方法的机制，并提出了一种简化的可控生成机制，名为 RefDrop，它能够直接而精确地控制参考上下文的影响，提高图像生成和视
PDFa month ago
基于人类概念代表的可控视觉刺激生成
理解人类是如何处理视觉对象的是认知科学的一个核心问题，这篇研究利用 Concept based Controllable Generation (CoCoG) 框架，通过两个组成部分 —— 提取可解释概念并预测人类在视觉相似性判断任务中的决
PDF2 months ago
DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF
通过结合大规模的视觉语言模型和已存在的先验知识，我们提出了 DreamPBR，一种新颖的基于扩散的生成框架，用于创建由文本和多模态控制引导的具有空间变化外观属性的材料，从而提供高度可控性和多样性。通过我们的方法，在材料 creation 和
PDF2 months ago
FilterPrompt：在扩散模型中引导图像传输
我们提出了 FilterPrompt 方法，通过在像素空间中对输入图像的特定特征分布执行图像处理操作，从而实现对生成结果的精确控制效果。该方法可以广泛适用于任何扩散模型，让用户根据任务要求调整特定图像特征的表示，从而促进更精确、可控的生成结
PDF2 months ago
DiffuMatting: 利用抠图级别的注释合成任意对象
通过引入 DiffuMatting 算法和基于绿屏的颜色控制，实现了高准确度的标注生成、社区友好的艺术设计和可控的生成，从而使得 DiffuMatting 成为一种综合导向的绿屏抠图工具。
PDF4 months ago
ICLRDecompOpt：基于结构的分子优化的可控分解扩散模型
近期，3D 生成模型在基于结构的药物设计中表现出了良好的性能，但仅建模目标配体分布难以实现药物发现的一个主要目标，即设计具有所需性质（如高结合亲和力、易合成等）的新型配体。本研究中，我们提出了 DecompOpt，这是一种基于可控分解扩散模
PDF4 months ago
可控生成的文本 - 图像扩散模型：一份综述
在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。
PDF4 months ago
CVPRCustomListener：面向用户友好的听觉头部生成的文本引导响应交互
我们提出了一个用户友好的框架 CustomListener 来实现根据自由文本信息生成自定义的监听者，通过 Static to Dynamic Portrait module (SDP) 和 Past Guided Generation M
PDF4 months ago
TaxDiff: 蛋白质序列生成的分类指导扩散模型
使用生物物种信息和扩散模型的生成能力相结合，提出了一种名为 TaxDiff 的生物蛋白序列生成模型，实现了精确控制生成结构稳定蛋白的能力，并在多个蛋白序列生成基准测试中表现出更好的性能。
PDF4 months ago
神经点云扩散用于解耦的 3D 形状和外观生成
在电影、游戏、工程以及增强 / 虚拟现实等多种实际应用中，可控地生成 3D 资产具有重要意义。最近，扩散模型在生成 3D 对象的质量方面取得了显著的成果。然而，现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于 3D
PDF6 months ago
文本和图像引导的 4D 场景生成的统一方法
通过使用扩散生成模型，我们提出了 Dream-in-4D 方法，可以有效地实现从文本和图像生成动态的 3D 场景，该方法包括利用扩散指导学习高质量的静态 3D 资源、使用可变形神经光辐射场将学习的静态资源与形变分离、以及使用多分辨率特征网格
PDF7 months ago
CoCoFormer: 一种可控的功能丰富的多音乐生成方法
这篇论文探讨了多声部音乐序列的建模方法，提出了 Condition Choir Transformer (CoCoFormer) 通过精细调控和和弦以及节奏输入来控制模型输出，并采用自监督方法和对抗训练方法来提高模型性能，在特定的多声部音乐
PDF9 months ago
参数高效调整助于语言模型对齐
对大型语言模型进行人类偏好的对齐是确保其安全和有用的关键。先前的研究主要采用强化学习和直接偏好优化等方法进行对齐，但存在某些局限性。为了克服这些限制，本文提出了一种参数高效调优的对齐方法（MEET），通过改进控制标记的质量，在两个知名数据集
PDF9 months ago
分解和重组：解决文本到图像扩散模型中的条件不对齐
本文提出了一种名为 “分解和重新对齐” 的无需训练的方法，通过分离存在于图像和文本之间的对应关系来改善现有模型的可控性，从而实现对部分对齐条件的控制。我们采用交叉注意机制来避免在重新组合分别计算的分数时产生新的冲突，在定性和定量结果上都证明
PDFa year ago
关于 NADO 的组合性与改进训练
本文提出了 NeurAlly-Decomposed Oracle（NADO）方法，以避免大型基础模型的灾难性忘却，同时保证收敛到一个熵最大化的 closed-form solution，提高了训练效果。同时，针对多个控制信号的组合和低概率控
PDFa year ago
正交微调控制文本到图像的扩散
本文提出了一种基于正交细调方法（OFT）的文本到图像扩散模型，该方法能够可靠地实现下游任务，包括主题驱动生成和可控生成。
PDFa year ago
基于语义空间的加权解码多属性可控对话生成
通过一种新型的 DASC 生成框架并在属性语义空间上增加基础，即在多个属性之间进行插值，使用加权解码范例实现了多维度生成，实验表明，在 3 个方面的可控生成任务中，DASC 可以实现最先进的控制精度，同时产生有趣和合理的响应。
PDFa year ago
MagicFusion: 通过融合 Diffusion 模型改善文本到图像生成性能
本研究提出了一种名为 Saliency-aware Noise Blending（SNB）的简单而有效的方法，旨在将文本引导扩散模型组合起来以实现更可控的生成，并在各种应用中展现出令人印象深刻的有效性。
PDFa year ago