Dec, 2023

MuVieCAST: 多视角一致艺术风格转换

PDF
TL;DRMuVieCAST 是一种模块化的多视角一致风格转换网络结构，能够在同一场景的多个视角之间实现一致的风格转换，并且支持稀疏和密集视图，适用于各种多视图图像数据集。该方法包括三个模块，分别执行与风格转换相关的特定任务，即内容保留、图像转换和多视角一致性执行。我们通过多个应用领域的实验评估了我们的方法，包括深度图点云融合、网格重建和新视角合成。实验证明，所提出的框架在生成经过风格化的图像方面表现出色，在不同视角之间的结果一致。针对新视角合成的用户研究进一步证实了这些结果，约 68% 的参与者表示与最近的最先进方法相比，更喜欢我们生成的输出。我们的模块化框架可扩展，并且可以轻松集成到各种骨干架构中，是多视图风格转换的灵活解决方案。更多结果请参考我们的项目页面：muviecast.github.io。
muviecastmulti-view consistent style transfermodular network architecturecontent preservationnovel-view synthesis
发现论文，激发创造
  • Style Mixer: 语义感知的多风格转移网络

    本文提出了一种基于区域语义的多样式迁移框架，其中引入了新的多级特征融合模块和补丁注意力模块来实现更好的语义对应和保留更丰富的样式细节，并使用区域风格融合模块将多个样式无缝地结合在一起，实现更丰富、更美观的多样式迁移结果。

    Oct, 2019

  • 神经辐射场的多任务视图合成

    多任务视觉学习的创新问题设置，将多任务预测重新解释为多个新视角综合任务，使用 MuvieNeRF 框架同时综合多个场景属性，通过 Cross-Task Attention 和 Cross-View Attention 模块实现对多个视角和任务的高效信息利用。

    Sep, 2023

  • 基于图割的多模态风格转换

    本研究提出了基于多样性的风格转换技术 (MST)，通过将风格图像特征聚类为次级风格组件，并采用图割公式将其与本地内容特征相匹配来明确考虑内容和风格图像的语义模式匹配，从而实现更灵活，更通用的风格转换技术。

    Apr, 2019

  • UMFuse: 面向人类编辑应用的统一多视图融合

    本文介绍一种基于多视角融合技术的人物造型编辑方法，通过多视角输入的关键点和纹理信息生成像素级外观检索图，并应用于多视角人物造型和人物图像混合等任务，研究单视角编辑的限制与多视角的优势。

    Nov, 2022

  • 神经立体图像风格迁移

    本文提出了一种新颖的双通路神经网络，旨在解决立体图像的风格转移的问题，该方法通过特征聚合策略在两条路径之间共享信息，利用多层视图损失强制实现双视图一致性，实验表明该方法相比之前的方法表现更好。

    Feb, 2018

  • 通过对比学习增强领域任意图像风格转移

    本文提出一种使用深度对比学习的方法，通过学习图像特征来获得图像的样式表示，并使用生成网络进行样式转移。研究表明，相对于现有的基于二阶统计量的方法，这种方法能够更加有效地获取图像的样式信息并生成更好的结果。

    May, 2022

  • 基于点的多视角立体网络

    Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络，通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中，实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。

    Aug, 2019

  • 多模态迁移：一种用于快速艺术风格迁移的分层深度卷积神经网络

    提出了一种多模态卷积神经网络的方案，本方案可以在多个尺度上处理风格和纹理提示，从而将艺术风格转移应用到常规照片上，平均效率也高于当前市场上其他方法。

    Nov, 2016

  • 任意风格的快速基于块的风格转移

    本文提出了一种基于局部匹配和卷积神经网络的简单优化目标，该目标可以在保持效率的同时，产生艺术风格迁移的高品质结果。同时，本文结合内容结构和风格纹理，利用预训练网络的单层来实现该目标，并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练，这使得整个算法支持任意图像进行迁移。

    Dec, 2016

  • 3D 照片风格化：从单张图像学习生成风格化新视角

    本文提出了一个深度模型，在场景的点云表示中学习基于几何感知的内容特征，以生成高质量且在视图上具有一致性的艺术化图像，从而实现了从单个图像到任意风格化图像的 3D 照片艺术化生成，并在定性和定量研究中展示了方法的优越性。

    Nov, 2021