采用基于扩散的语言模型实现细粒度文本风格转换
本文介绍了StylePTB,一个大规模的基准测试数据集,用于评估现有文本样式转移方法的表现,结果发现传统的方法无法实现细粒度的控制和多重样式的组合,这为控制文本样式转移、组合模型和学习离散表示等方向的未来研究提出了新的挑战。
Apr, 2021
文本样式转换是将文本的样式特征进行转换而保留其含义的任务。我们引入了一种新颖的基于扩散的通用样式转换框架ParaGuide,它可以在推理时灵活地适应任意目标样式,利用改进的扩散模型,结合来自现成分类器和强大的已有样式嵌入器的梯度引导,以转换文本的样式同时保留语义信息。我们在Enron Email Corpus上进行人工和自动评估,发现该方法在正式化、情感以及甚至作者风格转换方面均超越了强大的基准。
Aug, 2023
提出了一种新的任务,文本驱动的风格化图像生成,以进一步增强内容创造中的可编辑性,通过升级经过训练的文本到图像模型与可训练的调制网络,同时引入扩散样式和内容正则化,实现了高质量的风格化文本到图像生成。
Nov, 2023
基于预训练大规模扩散模型的一种新的艺术风格转换方法,通过操作自注意力层的特征作为交叉注意力机制的方式,实现样式的传递和内容的保留,并解决原始内容的破坏和样式颜色不协调的问题,证明在传统和基于扩散的风格转换基准测试中超越了现有方法。
Dec, 2023
通过引入StyleInject,一种针对文本到图像模型的特殊微调方法,以对抗传统的LoRA方法在图像生成方面的不足,我们能够显著减小对原始模型的文本-图像对齐能力的影响,同时能够在转移学习中灵活地适应不同风格,通过大量实验证明StyleInject在文本-图像语义一致性和人工评估方面超越传统方法,并在参数效率上有所提升。
Jan, 2024
本文介绍了一种创新的基于预训练大型扩散模型的风格转换方法FreeStyle,无需进一步优化,通过对所需风格的文本描述,实现风格转换,并且实验结果表明了其在不同内容图像和风格文本提示下的高质量综合和保真度。
Jan, 2024
本研究提出了一种创新的文本驱动风格转移任务解决方案,名为自适应风格融合(ASI),通过Siamese Cross-Attention(SiCA)、Adaptive Content-Style Blending(AdaBlending)模块来实现细粒度的特征级风格融合,并在结构保持和风格化效果方面展现出更好的性能。
Apr, 2024
Stylized Text-to-Image Generation paper proposes StyleMaster, a framework utilizing pretrained Stable Diffusion for generating images from text prompts, overcoming previous issues with insufficient style and inconsistent semantics. It introduces a multi-source style embedder and dynamic attention adapter to provide improved style embeddings and adaptability, and evaluates the model using objective functions and denoising loss, demonstrating its superior performance in achieving variable target styles while maintaining semantic information.
May, 2024
本研究解决了在文本到图像生成中有效控制图像风格的难题。我们提出了StyleTokenizer,一种无须预先训练的风格控制生成方法,通过风格标记器将风格表示与文本表示对齐,从而减少对文本提示有效性的影响。实验结果表明,该方法能够准确捕捉参考图像的风格特征,同时生成与目标图像风格和文本提示一致的美观图像。
Sep, 2024
本研究解决了现有风格迁移方法在内容和风格之间平衡不足的问题。我们提出了一种新颖的无训练方法,通过将文本嵌入与空间特征相结合,并分开注入内容和风格,从而改善风格迁移效果。实验表明,该方法在实现平衡和可控的风格迁移结果方面表现出色,并具有扩展到其他任务的潜力。
Oct, 2024