利用卷积神经网络进行纹理合成

May, 2015

Texture synthesis and the controlled generation of natural stimuli using convolutional neural networks

Leon A. Gatys, Alexander S. Ecker, Matthias Bethge

TL;DR介绍了一种基于卷积神经网络特征空间的自然纹理新模型，可生成具有高感知质量的样本，可作为神经科学刺激或深度卷积神经网络学习的新工具。

Abstract

It is a long standing question how biological systems transform visual inputs to robustly infer high-level visual information. Research in the last decades has established that much of the underlying computations take place in a hierarchical fashion along the ventral visual pathway. However, the exact processing stages along this hierarchy are difficult to c

发现论文，激发创造

纹理网络：纹理和风格化图像的前馈合成

本文提出一种利用深度学习的方式，通过在训练阶段来移动计算负担，使用单个纹理样本训练紧凑的前馈卷积网络，可以生成任意大小的同一纹理的多个样本，并将艺术风格从给定图像传输到任何其他图像中，生成的网络轻巧，并且可以比Gatys等人的方法快数百倍。

Mar, 2016

使用随机卷积滤波器的浅层卷积神经网络纹理合成

研究表明，随机浅层卷积神经网络的特征空间可以作为自然纹理的模型，可以用于纹理合成算法，并且相较于深层CNNs模型，浅层CNNs模型具有相当的性能。

May, 2016

使用卷积神经网络综合动态纹理

使用卷积神经网络的特征表示来计算时空统计量，并提出一种参数化的模型，能够合成新的动态纹理样本并预测简单电影中的运动。

Feb, 2017

前馈网络实现的多样化纹理合成

本文提出了一种基于深度生成式前馈网络实现的纹理综合方法，具有在一个网络内高效综合不同纹理并进行有意义插值的能力，并通过多项实验证明了提出的模型和技术的有效性和应用前缀。

Mar, 2017

动态纹理合成的双流卷积网络

本文提出了一种基于卷积网络(ConvNets)的两流(Two-Stream)动态纹理合成模型，它能够结合来自目标识别ConvNet的特征统计和来自光流ConvNet的特征统计生成全新的动态纹理，另外还引入图像风格迁移技术，能够将一个纹理的外观与另一个纹理的动态特性结合生成高质量的纹理。最后作者通过一个系统的用户实验，对该模型进行了客观的评价和验证。

Jun, 2017

纹理混合器：一种可控的纹理综合和插值网络

本文提出了一种利用神经网络实现纹理插值的方法，通过对重建任务和生成任务同时训练网络，将样例纹理投影到潜空间中进行线性插值，并重投影到图像域中，从而实现直观的控制和逼真的效果；研究显示该方法优于其他方法，并给出了纹理笔刷、纹理溶解和动物杂交等多个应用。

Jan, 2019

探究视觉感知的纹理插值

采用最优传输理论来生成纹理样本，提出了一种基于卷积神经网络的插值方法，同时应用于人和猴子的视觉感知和神经敏感度研究，拓展了对视觉处理的理解。

Jun, 2020

形状还是纹理：理解卷积神经网络中的辨别特征

本研究通过设计一系列实验，发现卷积神经网络中大部分的形状信息在训练的前几个阶段就已经学习，这些信息主要由CNN的最后几层进行编码。此外，本文还表明形状的编码并不意味着编码的是局部像素语义信息。

Jan, 2021

一种用于动态视觉刺激生成的时空风格迁移算法

图像研究中，我们引入了动态视觉刺激生成框架的Spaciotemporal Style Transfer算法，它基于双流深度神经网络模型，能够生成与自然视频的低级时空特征匹配的模型变形器，缺乏高级语义特征，成为研究对象识别的有力范例。

Mar, 2024

纹理学习探索

本研究探讨纹理学习：识别目标分类模型学习到的纹理以及它们对这些纹理的依赖程度。我们建立了纹理-目标的关联，揭示了CNN中纹理和目标类别之间关系的新见解，并发现三类结果：强关联且符合预期、强关联但不符合预期以及符合预期但不具备纹理。我们的分析表明，纹理学习的研究可以实现新的解释方法，并有可能揭示出意外的偏见。

Mar, 2024