通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

Jun, 2016

当前的深度学习学习过程，无论使用何种深度神经网络 (DNN) 架构和 / 或学习算法，本质上是单分辨率训练。我们探索多分辨率学习并表明，多分辨率学习可以显著提高 DNN 模型在一维信号和二维信号 (图像) 预测问题中的鲁棒性。我们不仅在噪声和对抗性鲁棒性方面展示了这种改进，而且在小训练数据集大小情况下也得到了改进。我们的结果还表明，通过多分辨率学习，不必以标准准确度换取鲁棒性，这与传统的单分辨率学习环境的观察结果相反。

Sep, 2023

研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

Nov, 2014

利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

May, 2017

提出了多分辨率循环神经网络模型，通过两个离散随机过程模拟自然语言生成的高级语义和自然语言输出，该模型在 Ubuntu 技术支持领域和 Twitter 对话任务上表现出了较高性能，即通过最大化联合对数似然优化模型的参数以提高高级语义抽象并克服自然语言的稀疏性。

Jun, 2016

本文介绍了一种新的用于高分辨率密集预测的卷积神经网络架构，称为 D3Net，其采用了多分辨率学习和逐渐膨胀的感受野来同时建模局部和全局模式，避免了深度网络中的深度耗散问题，并在图像和音频处理任务中取得了优越的性能。

Nov, 2020

本文通过系统评估普遍用于序列模型的通用卷积和循环神经网络架构，研究了应该选择哪种架构。结果表明，简单的卷积神经网络优于经典的循环网络，同时具有更长的有效内存。因此，序列建模与循环神经网络的通常联系应该被重新考虑，卷积网络应该被视为序列建模任务的自然起点。

Mar, 2018

提出一种名为 MultiResFormer 的基于 Transformer 的模型，通过自适应选择最佳的 patch 长度来动态建模时间序列的变化，并在长期预测任务中优于基于 patch 的 Transformer，同时使用比 CNN 基线更少的参数。

Nov, 2023

通过引入一种新的循环神经网络模型，允许自适应选择一系列区域或位置并仅处理所选区域。该模型可通过强化学习方法训练，提高图像分类性能，并能够跟踪简单对象。

Jun, 2014

通过引入名为 MuReNN 的神经音频模型，我们旨在解决深度学习在波形处理中的非参数和参数方法之间的矛盾，MuReNN 通过训练离散小波变换 (DWT) 的八度子带上的独立卷积运算器来拓宽其感受野，将声音数据集的幅度响应与 Gammatone、CQT 和三分之一八度声音滤波器进行知识蒸馏，并在保留集上与现有的方法进行对比，结果表明 MuReNN 在所有三个优化问题上达到了最先进的性能。

Jul, 2023