- ICLRNORM: 基于 N 对一表示匹配的知识蒸馏
本研究提出了 N-to-One Representation Matching (NORM) 知识蒸馏方法，其主要利用由两个线性层组成的 Feature Transform (FT) 模块，可以在训练中保留教师网络学习到的信息，并且通过新颖 - 浅层学习作为深度学习的替代方案
拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。
- ICCVShapeConv: 针对室内 RGB-D 语义分割的形状感知卷积层
本文提出了一种新的深度学习卷积方法 ShapeConv，用于处理三维点云数据的语义分割问题，该方法将深度特征分解成形状和基础两个部分进行卷积操作，不仅有效提高了分类的准确性，而且不会增加计算和存储成本。
- 相干光系统中神经网络均衡器的性能与复杂度研究
本研究采用多种人工神经网络，采用 Bayesian optimizer 优化的方式进行非线性通道均衡，使用实验验证了不同神经网络的性能、复杂度和复杂度的权衡，并表明在没有复杂度限制下，CNN + biLSTM 是最佳选项，而在复杂度限制较低 - CVPR动态区域感知卷积
提出了一种名为 DRConv 的动态区域感知卷积，它可以自动将多个过滤器分配给具有相似表示的相应空间区域，以更有效处理复杂和不同的空间信息分布，从而代替任何现有网络中的标准卷积，尤其适用于高效网络中的动力卷积层。在 ImageNet 分类中 - NormGrad：寻找训练中有用的像素
该论文提出了一种基于卷积层的梯度求和公式的权重归因方法，并通过元学习方法确定模型训练的相关位置，同时也展示了相似元学习方法可用于提取对模型有负面影响的对抗位置。
- CVPR动作识别的表示流
本文提出了一种卷积层，它能够学习动作表示，我们称之为表示流层，它是一种完全可微分的层，能够捕捉卷积神经网络中任何表示通道的 “流动”，通过迭代流优化过程学习参数，并与其他 CNN 模型参数一起最大化动作识别性能。我们还引入了多个表示流层学习 - ProdSumNet：通过和积矩阵分解减少深度神经网络中的模型参数
通过将线性操作分解为较简单线性操作之和的乘积，我们提出了一种可以减少深度神经网络可训练模型参数数量的通用框架，用于各类神经网络结构，并展示了基于该框架的算法在 MNIST 和 Fashion MNIST 数据集上的表现。此外，我们探究了一种 - ICML视频的时空高斯混合层
本文介绍了一种新的卷积层 Temporal Gaussian Mixture (TGM) layer，并阐述了它如何用于有效地捕捉连续活动视频中更长期的时间信息，其中 TGM 层是一个由可完全区分的一小组参数（例如，高斯的位置 / 方差）所 - ICML梯度下降学习一层卷积神经网络：不必担心虚假局部极小值
研究了在卷积层和 ReLU 激活下的一层神经网络的学习问题，证明了随机初始化并使用归一化权重的梯度下降可以恢复真实参数，但存在虚假局部最小值，且该局部最小值在梯度下降的动力学中起到了重要作用。
- 可扩展图像识别的可传递架构学习
本文提出了一种在小数据集上搜索神经网络模型结构并将其转移至大数据集的方法，称为 NASNet，通过设计新的搜索空间并使用调度 DropPath 技术提高了模型在 ImageNet 等数据集上的分类正确率。
- ICLR神经网络的模块化变形
本文研究了网络形态学习的问题，提出了基于图形变换的两种原子型形态学习方法，并基于 ResNet 提出了实现方案。
- 基于交叉流的改进稠密轨迹特征提取
为了解决密集轨迹提取过程中的问题，我们提出了一种新的局部描述符，它汇聚了在 iDT 中交错两个网络之间的新卷积层，通过将一个网络中学习到的有区分性的权重应用到另一个网络的卷积层上来计算得到。该方法在 UCF101 上达到了 92.3％，在 - CVPR通过替换进行滤波器解码以理解学习的 CNN 特征
本文提出了一种新的滤波器替换方法来解决卷积神经网络中的内部表示问题，并将其中任意 CNN 单个神经元直接可视化到图像空间中的第一层滤波器。
- ICLR追求简单：全卷积网络
通过重新评估小图像物体识别的状态并提出新的 CNN 网络结构，本文发现在保持精度的情况下，最大池化层可以简单地用增加步长的卷积层取代，并引入了一种新型的变体来可视化 CNN 学习到的特征。
- Permutohedral Lattice CNNs
本文提出了一种卷积层，能够处理稀疏的输入特征。它利用 Permiutohedral 网格数据结构实现了一个波透镜卷积算法，从而使得卷积神经网络具有更广泛的应用场景。