- InsideBias: 深度网络偏差测量与应用于面部性别生物特征识别
研究探讨基于深度神经网络架构的学习过程中的偏见，分析了偏见如何通过玩具示例和案例研究影响深度学习过程中的性别检测模型，提出了一种新的 InsideBias 方法来检测偏见模型。
- ICLR通过 Wasserstein 度量匹配分布来规则神经网络的激活函数
该论文介绍了一种新的正则化方法（PER）, 通过将激活在概率分布空间中与标准正态分布进行匹配，从而达到正则化的目的。该方法可以用于图像分类任务和语言建模任务。
- 一种正式的可解释性方法
本论文研究了解释生成函数和学习模型的中间表示之间的联系，发现如果一个给定层的激活与解释一致，则所有后续层也一致，并研究了交集和并集作为构建新解释的一种方法。
- CVPR低比特宽度权重和激活的卷积神经网络有效训练
本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。
- 激活样本方差的方差正则化
通过添加一个新的损失项，将神经网络激活函数的方差稳定下来，使其围绕几个不同的模式分布，并将这种正则化项与 batchnorm 方法联系起来，提高了卷积神经网络和全连接网络的准确性。
- ICML深度神经网络中激活函数的平均场理论
本文提出了深度神经网络的统计力学模型，将基于能量的方法和前馈神经网络方法相连接。模型的平均场解给出了一组自然活化函数，包括 Sigmoid、tanh、ReLu 和 Swish，研究表明 Swish 可以优化网络的性能
- 神经网络的对角缩放
定义了一种二阶神经网络随机梯度训练算法，其块对角结构有效地实现了单元激活的归一化，并研究了该算法在稳健性方面的不足之处，揭示了步长缩放的新方式以及处理成本曲率快速变化的重要性。
- Cnvlutin2：无效激活和权重自由的深度神经网络计算
本文讨论了 Cnvlutin 加速器在深度学习网络中卷积和全连接层方面的多个修改和扩展，包括编码的改变、读取内存时的识别与跳过无效激活值以及无效权重。
- 连续可微的指数线性单元
本文提出了一种 ELU 的可替代参数化方法，具有较原有参数化方法不具备的有用属性，易于操作和调整，是一种用于构建深度学习架构的有价值的整流器。
- 二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU - 基于生成树小波基的图激活检测
本文研究如何在高斯噪声下检测图形激活，其中信号在图形上是分段恒定的，并将其作为假设检验问题。通过引入基于生成树小波基的局部化本地化基础，作者在低信噪比情况下证明了任何生成树都可区分零假设和备择假设。最后，作者使用均匀生成树进行基础构造，得到