CharacterFactory: GANs 采样一致性字符用于扩散模型
最新的文本到图像生成模型在提供视觉创造力方面有巨大潜力，但在一致性字符生成方面存在困难。本文介绍了一种完全自动化的解决方案，通过文本提示作为唯一输入，使用迭代的过程来生成一致性字符，并展示了其在多个实际应用中的实践。
Nov, 2023
針對文本到圖像擴散模型中的一致性生成的挑戰，提出了一種輕量級但複雜的引導方法，通過引入後驗樣本來引導去噪軌跡向目標集群集中，並設計輔助組件來同時增強調整過程和規範推理，以提高生成圖像的內容多樣性。綜合實驗結果顯示，該方法在角色一致性、提示一致性和圖像質量方面都優於基線方法，並且比基於調整的基線方法至少快 4 倍。此外，首次證明語義空間具有與潛在空間相同的插值特性，可作為另一種精細生成控制的有希望工具。
Apr, 2024
在数字内容创作领域中，从单张图像生成高质量的 3D 角色是具有挑战性的，本文介绍了 CharacterGen 框架，该框架通过图像条件的多视角扩散模型和基于转换器的稀疏视角重建模型高效地生成 3D 角色。通过定量和定性实验证明该方法能够生成具有高质量形状和纹理的 3D 角色，可用于后续的蒙皮和动画应用。
Feb, 2024
通过扩展训练数据，我们提出了一种针对角色动画的新型框架，使用扩散模型来保持细节特征的一致性，通过空间注意力合并细节特征，引入高效的姿势指导器来控制角色运动，并采用有效的时间建模方法来实现视频帧之间的流畅过渡，相比其他图像到视频方法，在角色动画领域取得了卓越的结果。此外，我们在时尚视频和人类舞蹈合成基准上评估了我们的方法，取得了最先进的结果。
Nov, 2023
通过介绍一种新的方法，本文研究了如何从单一的文本提示产生具有一致的视觉特征的角色表达，通过定量和定性分析，证明了该方法在生成具有一致视觉特征的角色方面优于现有方法，扩展了艺术和创作表达的可能性。
Jun, 2024
提出了一种名为 Character Image Feature Encoder 的模型，它能够通过简单地提供角色图片来生成符合预期的人物角色图像，而不需要对每个个体 / 动画角色图像进行训练，可以方便地将其集成到现有的生成模型中。
May, 2023
通过生成对抗网络和角色设计相结合的协同创作框架，本研究开发了一个标记数据集并使用不同的生成对抗网络进行评估，证实了该框架的价值，并阐明了生成的概念如何以多样的方式与设计师的能力相互作用，影响构思新角色的创造过程。
Nov, 2023
本论文提出了 GANDiffFace，一种结合生成对抗网络（GAN）和扩散模型的新型框架，用于为人脸识别生成具有高度真实感的合成数据集，以克服现有合成数据集的局限性，特别是 GAN 提供的有限化内类别变化，进而增强内类别变化。
May, 2023
本文使用生成对抗网络的生成结果作为认知组件，以增强角色设计师在为不同的多媒体项目概念化新角色时的创造力。同时，本文通过在新的可视化角色数据集上使用单个图形处理器从头开始训练不同的 GAN 架构（包括转移学习和数据增强技术），并使用混合方法评估了生成视觉品质对角色设计师机构概念化新角色的认知价值。研究表明，本方法对该上下文的实施非常有效，将作为一个由人与机器共同设计的工作流程进一步评估。
May, 2023
我们提出了一种零样本方法，基于预训练的文本到图像扩散模型实现一致的文本到动画角色合成。通过利用现有的基于文本的动作扩散模型生成多样的动作，并使用其指导文本到图像模型，我们成功地在不需要训练或微调的情况下生成了具有不同动作和风格的时序一致的视频，优于现有的零样本文本到视频方法在像素一致性和用户偏好方面。
Dec, 2023