Nov, 2023

3D 神经风格化的进展：一份综述

PDF
TL;DR用现代人工智能技术进行数字艺术的新方法是通过神经网络的表现力在图像、视频和 3D 数据中进行样式转换，本文探讨了神经样式化在 3D 数据方面的最新进展，包括场景表示、指导数据、优化策略和输出样式等多个重要设计选择，并通过对 2D 图像神经样式化的背景进行回顾，详细讨论了近期的 3D 数据神经样式化方法，并提供了一个艺术样式化方法的小型基准测试，最后根据调研结果讨论了神经样式化的挑战、未来研究和潜在应用和影响。
发现论文，激发创造
  • 探索实时任意神经艺术风格化网络的结构

    本文提出一种方法，将艺术风格的神经算法的灵活性与快速风格转移网络的速度相结合，利用任意内容 / 风格图像对进行实时样式化。通过学习直接从样式图像预测条件实例归一化参数，在多风格转移网络中使用条件实例归一化对最近工作进行了改进。该模型成功地在大约 8 万幅绘画作品上进行了训练，并能够推广到以前未观察到的作品。我们证明，学习到的嵌入空间是平滑的，并在整个非监督学习过程中包含了与绘画相关的丰富结构和组织语义信息。

    May, 2017

  • 3D 照片风格化：从单张图像学习生成风格化新视角

    本文提出了一个深度模型，在场景的点云表示中学习基于几何感知的内容特征，以生成高质量且在视图上具有一致性的艺术化图像，从而实现了从单个图像到任意风格化图像的 3D 照片艺术化生成，并在定性和定量研究中展示了方法的优越性。

    Nov, 2021

  • 一种神经风格艺术算法

    通过使用深度神经网络对任意图像的内容和风格进行分离和重组，我们引入了一种人工系统，为艺术形象的创作提供了神经算法，并且在视觉感知的其他关键领域中的近乎人类性能展示了深度神经网络模型的类生物启发式视觉模型的特定任务的卓越表现的显着相似之处，为人类创作和感知艺术意象的算法理解提供了一条前进的路径。

    Aug, 2015

  • HyperStyle3D: 通过超网络进行文本引导的 3D 人像风格化

    本文提出了一种基于 3D-aware GANs 的 HyperStyle3D 方法，利用 CLIP 模型作为样式指导，可以在不要求 3D 数据的情况下进行立体画风化处理，实验结果表明该方法在不同的画风、形状变形、属性修改等方面展现了优异表现，且保持了 3D 一致性。

    Apr, 2023

  • 提升艺术风格神经算法

    研究如何通过多种方法改进神经艺术风格算法的表现，特别是针对一些换风格难以处理的更复杂的前景和背景等内容，在实验中显示方法能有效提高风格转换的质量。

    May, 2016

  • 神经风格迁移：综述

    本文概述了当前神经风格转移研究的进展，提供了当前算法的分类方法及几种评估方法，对不同 NST 算法进行了定性和定量比较，最后讨论了 NST 的多种应用和未来研究的开放问题。

    May, 2017

  • PNeSM: 基于提示的神经风格映射的任意 3D 场景风格化

    我们提出了一种新颖的 3D 场景风格化框架，可以将任意风格应用于任意场景，无需再训练。通过将 3D 场景的外观映射到 2D 风格模式空间并利用基于提示的 2D 风格化算法，我们实现了 3D 场景的几何和外观的完全分离，从而在视觉质量和泛化性方面超越了当前最先进的方法。

    Mar, 2024

  • 计算机游戏的神经风格迁移

    将深度感知的神经风格迁移嵌入到三维渲染管线中作为游戏后期处理特效，通过定性和定量实验验证了提出的游戏内风格化框架在艺术风格化游戏场景中实现了时序一致的结果，优于最先进的图像和视频神经风格迁移方法。

    Nov, 2023

  • 视频和球面图像的艺术风格转换

    本文提出了两种计算机视觉算法对图像和视频进行风格迁移，第一种是根据 Gatys 算法进行能量最小化的图像风格转移技术，针对图像中的规模和遮挡等问题提出了改进，第二种是将视频风格迁移建模为一个学习问题，使用深度学习网络和新的训练程序使其在几乎实时的情况下实现任意长度的视频稳定风格转移，最后还介绍了如何将这些方法应用于 360 度图像和视频。

    Aug, 2017

  • MetaStyle: 神经风格迁移中速度、灵活性和质量的三方面权衡

    我们提出了 MetaStyle 方法，将神经风格迁移公式化为双层优化问题，并结合学习和后处理更新步骤，使其适应快速逼近模型，从而实现高质量的任意艺术风格转移，并在速度，灵活性和质量之间取得了良好的平衡。

    Dec, 2018