MambaPainter:一步完成的神经笔触渲染
通过使用神经绘画家创造了一种新颖的基于人工画家的可微分的图像生成方法,同时提出了新的内容损失的概念,允许艺术媒介自然地决定由神经绘画生成的样式。
Apr, 2019
提出了一种Stroke Control Multi-Artist Style Transfer 框架,为实现多艺术家风格转移设计了多条件单生成器结构和Anisotropic Stroke Module, 并使用 Multi-Scale Projection Discriminator 实现了纹理级别的条件生成, 实验证明了该方法的可行性和有效性。
Oct, 2020
本文提出了一种图像到绘画的翻译方法,采用矢量化环境并产生一系列具有物理意义的绘画参数,然后通过搜索参数最大化输入和渲染输出之间的相似度来框架笔画预测作为参数搜索过程,结果表明生成的画作在全局外观和局部纹理方面具有高度的保真度。
Nov, 2020
本文提出了用参数化的画笔笔触来进行风格化处理的方法,并且引入了可微分的渲染机制,通过用户输入控制画笔笔触的流动,取得了显著的视觉效果和进一步控制风格化过程的能力。定性和定量的评估表明了参数化表征的有效性。
Mar, 2021
本文提出了一种名为 Paint Transformer 的基于 Transformer 结构的神经网络框架,通过一个前馈网络来预测笔画集合的参数,从而实现在短时间内生成一个512 * 512的绘画。此外,作者设计了一个自学习流程,使其可以在没有任何预训练数据的情况下进行训练,并取得了比以往更好的绘画性能。
Aug, 2021
本文提出了一种新的基于笔画渲染(SBR)方法,将图像转换成栩栩如生的油画。通过采用自适应采样算法,基于纹理复杂度计算概率密度图,用Voronoi算法采样一组像素作为笔画锚点,对每个锚点搜索和生成单个油画笔画并将所有笔画放在画布上,通过调整超参数最大采样概率,可线性地控制油画的细腻程度。与现有油画技术的比较表明,该方法的结果具有更高的保真度和更逼真的纹理,用户意见测试表明,人们更喜欢我们这种油画渲染方法的结果。
Sep, 2022
通过动态预测下一次绘画区域、预测画笔参数以及将笔触渲染到当前画布的绘画过程,提出了基于组合神经绘画家的stroke-based rendering框架,还借助可微分距离变换损失将该方法扩展到基于stroke的风格迁移,实验证明在stroke-based neural painting和stroke-based stylization方面,我们的模型优于现有模型。
Sep, 2023
我们提出了一种新技术Paint Neural Stroke Field(PaintNeSF),用于根据多视角2D图像生成3D场景的任意新视角的风格化图像。
Nov, 2023
本研究解决了传统风格迁移模型在计算资源和时间复杂度上的不足,尤其是自注意力和扩散模型的高负担。提出了一种新颖的状态空间模型——Mamba-ST,通过适配Mamba线性方程来模拟交叉注意力层,从而显著降低内存使用和推理时间。实验结果表明,该方法在风格迁移的效果和效率上优于现有技术。
Sep, 2024
本研究解决了现有神经绘画方法推测笔划序列时推理时间长和训练不稳定的问题。提出的AttentionPainter模型通过一次前向过程预测大量笔划参数,显著加快了绘画过程,且采用快速笔划堆叠算法提高了训练效率。此外,新的笔划扩散模型对艺术家的设计具有促进作用。实验表明,AttentionPainter在性能上超越了现有的最先进神经绘画方法。
Oct, 2024