- 当医学影像遇上自注意力机制：一段并未很成功的爱情故事
通过在医学图像上扩展卷积神经网络结构，研究了自注意机制的应用，发现仅仅加入自注意机制并不能提升现有的完全卷积方法的性能。
- 自适应梯度方法中是否可以去除平方根？一个二阶视角
去掉平方根的自适应方法能够改善在卷积架构上的泛化差异，同时保持其基于平方根的对应物在转换器上的性能，从而提出了二阶的视角来发展带有非对角线的自适应方法，它们不需要数值不稳定的矩阵平方根，在低精度下工作良好。
- 可学习间距的扩张卷积音频分类
在这篇论文中，通过使用 DCLS 方法替代卷积架构中的 DSC 层，显著提高了音频标记的平均精度，同时不增加参数数量，并且对吞吐量只有较低的成本。
- MM过参数化卷积神经网络中的特征学习机制：局部核归一化
深度神经网络具有自动从原始数据中学习相关特征的能力，但完全连接（FC）和卷积架构（CNN）中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果，而具有卷积隐藏层的架 - 线性时态卷积网络的正向和反向逼近理论
本篇论文对卷积架构在建模时序序列中的逼近性质进行了理论分析，证明了逼近速率估计和逆逼近定理，并通过引入改进的复杂度测度来提高速率估计。逆逼近定理是新的，两者共同提供了卷积架构能够高效捕捉的时序关系类型的综合特征。
- 一种针对音频信号处理的内容自适应可学习时频表示
本文提出了可学习的自适应内容前端用于音频信号处理，通过卷积神经网络学习基础函数和权重优化特定任务，同时提出了一种计算内容自适应可学习时频表示的方法，实现了学习有限冲激响应滤波器组，并根据输入信号的内容通过最优滤波器组传递输出信号。
- 卷积和池化在核方法中的学习
本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。
- 卷积神经网络重置对泛化性能的影响
研究了神经网络的子集重新初始化方法在 12 个基准图像分类数据集上的影响，提出了一种新的逐层重新初始化算法，该算法优于以前的方法，并表明可以通过逐层重新初始化卷积神经网络来提高其在小数据集上的准确性。
- ACL预训练的卷积神经网络是否比预训练的 Transformer 模型更好？
本文对使用 CNN 和 Transformers 用于预训练语言模型的竞争性进行了研究，并在 8 个数据集 / 任务上进行了广泛的实验，发现 CNN 的预训练模型在某些情况下具有竞争力，并且在某些场景下胜过它们的 Transformers - ConViT：利用软卷积归纳偏置提升视觉 Transformer 性能
本文提出了一种形式的位置自注意力机制：门控位置自注意力，该机制能够同时具备卷积神经网络的空域学习和自注意力层的位置不变性。作者使用这种机制构建了名为 ConViT 的混合卷积 - 自注意力神经网络，通过在 ImageNet 数据集上的实验表 - Max-Pooling 网络的优化和泛化分析
在深度学习中，池化操作是卷积网络的核心组成部分，可以自然地处理模式检测问题，但是我们没有从理论上理解何时可以进行全局优化，过参数化对泛化的影响是什么。本论文在一个受 “判别式” 和 “虚假” 的模式检测问题启发的数据生成分布下，对卷积最大池 - CVPRNAS-FPN：学习可扩展的特征金字塔架构用于目标检测
本文介绍了使用神经架构搜索方法学习目标检测特征金字塔网络的新架构 NAS-FPN。NAS-FPN 采用自下而上和自上而下的连接方式，通过结合 RetinaNet 框架中的各种骨干模型，相比当前最先进的目标检测模型，在精度和延迟的交易方面取得 - STCN：随机时态卷积网络
本文提出了一种新的 STCN 体系结构，其将时间卷积网络（TCN）的计算优势与具有不同时间尺度的时间依赖性的随机潜在空间的表示能力和鲁棒性相结合，提高了多个任务的对数似然度，并且在手写文本建模中能够预测长时间跨度内的高质量合成样本。
- ICLR可微架构搜索：DARTS
本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。
- 通用卷积和循环网络在序列建模中的实证评估
本文通过系统评估普遍用于序列模型的通用卷积和循环神经网络架构，研究了应该选择哪种架构。结果表明，简单的卷积神经网络优于经典的循环网络，同时具有更长的有效内存。因此，序列建模与循环神经网络的通常联系应该被重新考虑，卷积网络应该被视为序列建模任 - 通过数据增强来连接计算机视觉和机器人视觉：物体识别案例研究
本文提出了一种简单但有效的数据增强层，以缩小机器人视觉和常规图像分类之间的差距，并在三个不同的基准数据库实验中获得高达 7％的目标识别性能提升。
- 深度卷积排序多标签图像注释
通过结合卷积结构和近似 top-k 排名目标，利用深度神经网络的特征，改进了多标签图像注释，并在 NUS-WIDE 数据集上实现了比传统视觉特征高大约 10% 的性能表现，提出了一种有效的方法。