Nov, 2023

PaintNeSF: 用矢量化的 3D 笔画进行风格化景物的艺术创作

PDF
TL;DR我们提出了一种新技术 Paint Neural Stroke Field（PaintNeSF），用于根据多视角 2D 图像生成 3D 场景的任意新视角的风格化图像。
paint neural stroke fieldstylized images3d scenevector strokesdifferentiable renderer
发现论文，激发创造
  • SNeRF：用于 3D 场景的风格化神经隐式表示

    本研究提出了一种基于神经辐射场的三维场景风格化方法，采用新的训练方法，交替进行 3D 场景和风格化优化步骤，从而应用更加表现力的图像风格转移方法，生成高质量的具有交叉视角一致性的新视角图片。

    Jul, 2022

  • 神经风格化绘画

    本文提出了一种图像到绘画的翻译方法，采用矢量化环境并产生一系列具有物理意义的绘画参数，然后通过搜索参数最大化输入和渲染输出之间的相似度来框架笔画预测作为参数搜索过程，结果表明生成的画作在全局外观和局部纹理方面具有高度的保真度。

    Nov, 2020

  • 神经笔触：三维形状的风格化线描

    本论文介绍了一种从三维形状中生成艺术风格化线条图案的模型，其输入为三维形状及视角，输出为带有纹理笔触的绘画，包括笔画粗细、变形和颜色，可以从艺术家的风格中学习。该模型是全可微分的，并训练其参数来自三维形状的单个训练图形。相对于之前基于图像的方法，使用 3D 形状和 2D 笔画的几何表达方式允许模型传输形状和纹理风格的重要方面，同时保留轮廓。我们的方法以向量表示形成的绘画，可用于交互式应用中的更丰富后续分析或编辑。

    Oct, 2021

  • NeSF: 用于三维场景的神经语义字段通用语义分割

    NeSF 是一种从 RGB 图像中生成 3D 语义场的方法，它利用了隐式神经场表示法，根据点积函数捕捉 3D 结构，能够在任意 3D 点上查询，并且生成可以与真实场景相对应的 3D 一致的语义图谱，是第一种只需要 2D 监督进行训练的真正密集的 3D 场景分割方法。

    Nov, 2021

  • 基于笔画的神经绘画和风格化技术与动态预测的绘画区域

    通过动态预测下一次绘画区域、预测画笔参数以及将笔触渲染到当前画布的绘画过程，提出了基于组合神经绘画家的 stroke-based rendering 框架，还借助可微分距离变换损失将该方法扩展到基于 stroke 的风格迁移，实验证明在 stroke-based neural painting 和 stroke-based stylization 方面，我们的模型优于现有模型。

    Sep, 2023

  • ArtNeRF: 一种用于 3D 感知的卡通化人脸合成的风格化神经场

    ArtNeRF 是一种从三维感知生成对抗网络 (GAN) 派生的新型人脸风格化框架，通过利用表达能力强的生成器合成风格化人脸，并利用三分支鉴别器模块改善生成的人脸的视觉质量和风格一致性，通过对比学习实现一个基于风格编码器来提取风格图像的稳健低维嵌入，以赋予生成器对各种风格的知识，并通过自适应风格融合模块平滑跨域迁移学习的训练过程，实现了图像的高分辨率实时渲染。大量实验表明，ArtNeRF 在生成任意风格的高质量三维人脸方面具有通用性。

    Apr, 2024

  • 本地样式化的神经光辐射场

    我们提出了一种基于局部风格转移的 NeRF 风格化框架，利用哈希网格编码来学习外观和几何组件的嵌入，并通过优化外观分支并保持几何分支固定来实现风格化，使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系，实验证明我们的方法在新视角合成方面得到了合理的风格化结果，并通过操纵和自定义区域对应关系具有灵活的可控性。

    Sep, 2023

  • NeRF-Art：基于文本驱动的神经辐射场风格化

    本文提出了 NeRF-Art，一种基于文本引导的 NeRF 风格化方法，采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

    Dec, 2022

  • 走向 4D 人类视频风格化

    本文提出了一种 4D（3D 和时间）人体视频风格化的方法，该方法在同一个框架内解决了风格转移、新视角合成和人体动画的问题。通过利用神经辐射场（NeRFs）来表示视频，我们可以在渲染特征空间中进行风格化处理，从而实现对于新视角和新姿势的泛化。实验证明，该方法在风格纹理和时间连贯性方面取得了出色的平衡，优于现有方法，并可以适应新的姿势和视角，成为创作人体视频风格的多功能工具。

    Dec, 2023

  • 画笔变换器：带有笔触预测的前馈神经绘画

    本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架，通过一个前馈网络来预测笔画集合的参数，从而实现在短时间内生成一个 512 * 512 的绘画。此外，作者设计了一个自学习流程，使其可以在没有任何预训练数据的情况下进行训练，并取得了比以往更好的绘画性能。

    Aug, 2021