Aug, 2023

Scenimefy: 学习通过半监督的图像到图像翻译技术创作动画场景

HTML
PDF
TL;DR提出了一种新的半监督图像转换框架Scenimefy，利用结构一致的伪对齐数据，以简化纯无监督的设置，通过分割引导数据选择来获得高质量的伪监督，并引入补丁对比风格损失来提高风格化和细节，实验证明了该方法在感知质量和定量性能方面优于现有技术基准。
发现论文，激发创造
  • 自动时空连贯的视频上色

    本文介绍了一种基于敌对生成网络的图像着色方法，可以实现在动漫制作领域中对线描进行快速稳定的着色，从而加快制作进度，减少成本。

    Apr, 2019

  • AniGAN: 面向风格引导的生成对抗网络(Unsupervised) 在动漫头像生成中的应用

    该研究提出了一个基于GAN的新框架，可以将肖像照片转换为动漫外观的高质量图像，同时保留源图像的整体结构，该框架采用了双分支鉴别器来学习具体领域分布和领域共享分布，有助于生成具有视觉吸引力的动漫图像。

    Feb, 2021

  • GANs N' Roses：稳定、可控、多样的图像到图像转换（也适用于视频！）

    本文提出了一种使用内容编码和随机选取风格编码生成动漫图像的方法，并从其简单而有效的内容和风格定义中导出了对抗性损失，可以生成非常丰富的动漫风格；通过丰富的定量和定性实验支持本方法的正确性；并可在不训练视频的情况下进行视频转换，从而为内容和风格的形式化提供了一个解决方案。

    Jun, 2021

  • SAMScore：一种用于图像翻译评估的语义结构相似度度量方法

    SAMScore 是基于高性能的 Segment Anything 模型（SAM）设计的一种通用的语义结构相似度指标，可用于评估图像翻译模型的可靠性，并应用于19项图像翻译任务中，发现其能够胜过所有竞争指标，是一种有价值的工具，有助于推动图像翻译领域的发展。

    May, 2023

  • AnimateDiff: 个性化文本图像扩散模型的动画化方法

    通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。

    Jul, 2023

  • 从参考图像中检索扩散模型的条件

    通过提出一种基于扩散的主题驱动生成方法，使用动漫人物数据集RetriBooru-V1进行图像生成和多样性度量，对提升图像生成的灵活性进行研究和评估。

    Dec, 2023

  • Diffutoon: 高分辨率可编辑的Toon着色：通过扩散模型实现

    基于扩散模型的漫画风格渲染技术Diffutoon能够以remarkably详细、高分辨率和持续时间较长的方式渲染动画风格的视频，并可以根据提示编辑内容。

    Jan, 2024

  • APISR：动漫制作启发下的现实世界动漫超分辨率

    本文提出了一种基于动画制作工作流程的超分辨率方法，通过选择视频源中最少压缩和最具代表性的帧来构建动画图像数据集，并通过引入预测导向的压缩模块和增强手绘线条的伪地面真实值准备方法，解决了失真和淡色伪影的动画特定问题，同时引入平衡的双感知损失来减轻不必要的色彩伪影和提高视觉清晰度，在公开基准测试中验证了本方法优于当前最先进方法的效果。

    Mar, 2024

  • Sakuga-42M 数据集：推动卡通研究的规模化

    通过实验证明，手绘卡通动画与自然视频分布不同，并且提出了首个大规模卡通动画数据集Sakuga-42M，通过调整现有基础模型在卡通相关任务上获得了出色的性能，旨在将大规模化引入卡通研究，促进未来卡通应用的普适性和健壮性。

    May, 2024

  • NOVA-3D：非重叠视角下的3D动画角色重建

    通过非重叠视图从二维设计中重建三维动漫角色的研究, 提出了NOVA-3D方法来有效地学习和合成全身动漫角色，实现了优秀的细节保真度，并在动画头部重建任务上将基准值提高至94.453（SSIM）、7.726（LPIPS）和19.575（PSNR）。

    May, 2024