- 深度神经网络激活区域的精确枚举并行算法
使用整流线性单元的前馈神经网络通过将其输入空间分为一组凸区域来构建从输入到输出的映射。本文提出了深度（和浅层）神经网络中确切枚举的并行算法，并演示了区域数量对运行时间的影响以及区域的仿射变换维度如何影响更深层次的划分。
- ReLU-FNN 的局部利普希茨常数计算：精确性验证的上界计算
该论文主要研究采用整流线性单元（ReLUs）作为激活函数的前馈神经网络（FNNs）的局部利普希茨常数的计算，介绍了一种基于半定规划问题（SDP）和余问题的计算上界的方法，提出了一种模型简化方法并通过数值实例验证了这些方法的有效性。
- 反馈门控整流线性单元
该研究探讨了人类大脑中反馈连接在人工神经网络研究中的重要性。设计了一种受生物启发的反馈机制来控制修正线性单元。在 MNIST 数据集上，使用反馈的自编码器表现出更快的收敛速度、更好的性能和更强的抗噪声能力。在 CIFAR-10 数据集上，虽 - 由数据维度参数化的 ReLU 网络训练的计算复杂度
本文研究了使用修正线性单元（ReLU）训练简单神经网络的计算复杂度，并分析了训练数据维数对计算复杂度的影响。我们提供了参数化复杂度的结果，并且针对各种损失函数分析了两层 ReLU 网络的训练问题。
- ECCV动态 ReLU
本文提出动态整流器（DY-ReLU），将全局上下文编码到超函数中，并相应地适应分段线性激活函数，与其静态对应物相比，DY-ReLU 具有更强的表征能力，特别是对于轻量级神经网络，只需在 MobileNetV2 上应用 DY-ReLU，就可将 - 神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式
本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型 - 通过修正线性单元的量化压缩感知
本研究旨在针对高维信号恢复问题，提出了基于修正线性单元的一比特和均匀多比特量化的凸规划算法，在线性测量过程中添加设计良好的噪声，从而获得最优近似重构保证，并证明了该算法对位坏的鲁棒性。其中，Dirksen 和 Mendelson 对非高斯超 - CVPR利用 Hermite 多项式激活在半监督学习中生成准确的伪标签并避免过于自信的预测
本文探讨如何使用 Hermite 多项式作为替代 ReLUs 在深度网络中，特别是在半监督学习 / 传递学习方面的应用。使用 Hermite 多项式基于激活函数可以带来伪标签的精确性和显着的财务储蓄的提高。此外，通过理论分析，证明了基于 H - 训练 ReLU 的计算复杂性
针对由修正线性单元（ReLU）组成的两层神经网络的训练的计算复杂度进行了探讨，发现该问题是 NP-hard 的，但在权重和样本都属于单位球时，可以通过特定算法在有限时间内得到令人满意的学习效果。
- AAAI深度整流网络线性区域的经验界限
通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。
- 使用修正线性单元（ReLU）的深度学习
本研究介绍了在深度神经网络中使用修正线性单元作为分类函数来预测类别，通过将神经网络中的倒数第二层的输出与权重参数相乘得到原始分数，再使用修正线性单元函数进行阈值处理，最后通过 argmax 函数得到分类预测。
- 在其正比不变空间中优化 ReLU 神经网络的 G-SGD
本文研究如何构建一种新的向量空间，以更好地促进神经网络的优化，证明了所有路径值向量足以表示神经网络，引入了正比例变换群来提高神经网络优化的效率与性能。
- NIPS再探模糊神经网络：用广义哈明网络揭秘批归一化和 ReLU
基于广义海明距离，重新解释了许多有效的神经网络技术，包括批量归一化和修正线性单元；提出了广义海明网络（GHN），具有快速学习速度和出色的性能。
- 通过梯度下降学习 ReLU
本文研究学习呈现形式为 $max (0,<w,x>)$ 的修正线性单元（ReLUs）的问题，聚焦于高维场景下，权重向量的维数大于样本数的情形，针对实现可能性模型，展示了投影梯度下降算法在 0 处初始化的线性收敛率，这一结果对于深度架构的动态 - 在多项式时间内可靠地学习 ReLU
本研究提出了有效学习基于 ReLU 的常深度网络的算法，该算法运用了核方法、多项式逼近和凸优化的 “双损失” 方法，同时获得了解决 “凸分段线性拟合” 和 “在单位球上低权重多项式的噪音重构” 等其他应用。
- ICML标准化传播：一种参数技术用于消除深层网络中的内部协变量移位
介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术 ——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个 Bat - ICML整流网络的表现力
研究表明，修正线性单元（ReLU）不仅可以改善梯度消失问题、实现高效反向传播，且在学习参数方面具有稀疏性；本文则从表现力的角度探究了 ReLU 网络的决策边界，并实验证明两层 ReLU 网络的决策边界可以被阈值网络广泛捕捉，而后者可能需要一 - 张量分解、深度学习及其超越中的全局最优性
该研究通过对矩阵分解、张量分解和深度神经网络训练等问题的非凸优化问题的充分条件分析，提出了一种通用框架，能够在任意初始的情况下使用纯局部下降算法找到全局最小值，为深度神经网络的优化提供了理论支持和指导。
- 使用简单方法初始化修正线性单元的循环神经网络
本文提出了用由修正线性单元组成的循环神经网络，并采用单位矩阵或其缩放版本来初始化循环权重矩阵来解决长期依赖性的问题，并在四个基准测试中证明了我们的解决方案与 LSTM 相当。
- ICLR近期进展下的无监督预训练分析
本文针对卷积神经网络在物体识别方面的表现进行研究，探讨了无监督预训练在近期发展中是否仍具有重要的作用，并通过实验证实了无监督预训练对于样本中无监督数量比例较高时的效益，而当比例较低时不如数据增强、抑制过拟合等技术，此外文中还提到了色彩增强等