relu | BriefGPT - AI 论文速递

关键词relu

搜索结果 - 53

EMNLP稀疏注意力与线性单元
本研究介绍了一种名为 ReLA 的新型的、可实现稀疏注意的模型，该模型采用 ReLU 激活函数来代替 softmax 函数，通过额外的门控函数或专门的初始化实现了训练稳定性。实验结果表明，ReLA 模型在机器翻译任务中表现良好，且实现效率高
PDF3 years ago
ICMLDeepReDuce: 快速私有推理的 ReLU 降维
本文提出 DeepReDuce 以降低 ReLU 的总数，从而减少隐私神经推理的延迟时间，保持高精度。与私有推理的最新技术相比，DeepReDuce 在等 RELUs 数量的情况下提高了精度并将 RELUs 数量降低了 3.5％，同时提高了
PDF3 years ago
具有平滑 ReLU 激活函数的深度神经网络使用逻辑损失梯度下降插值的时间
本研究建立了在深度神经网络中应用梯度下降的情况下，驱动逻辑损失为零的条件，并证明了收敛速率的界限。我们的分析适用于 ReLU 的平滑近似，如 Swish 和 Huberized ReLU，并提供两个收敛的充分条件。第一个条件是初始化时对损失
PDF3 years ago
CVPRRepVGG：重塑 VGG 风格的卷积神经网络
本文提出了一种名为 RepVGG 的卷积神经网络架构，通过结构重参数化技术实现了训练时和推理时架构的解耦，并在 ImageNet 上取得了超过 80％的 top-1 精度。与现有的 EfficientNet 和 RegNet 等模型相比，R
PDF3 years ago
无限宽度下的双层 ReLU 神经网络相图
通过实验和理论方法，我们对两层 ReLU 神经网络在无限宽度极限下的动态状态及其与初始化超参数的依赖关系进行了完整表征，并绘制了相图。我们确定了相图中的三个区域：线性区、临界区和凝聚区，分别基于输入权重的相对变化。该相图将神经网络的训练行为
PDF4 years ago
ICML运算感知的可微分掩码软通道剪枝
本论文提出了一种简单而有效的数据驱动信道剪枝算法，该算法通过利用操作的特性以可微分的方式压缩了深度神经网络，并对批次归一化和修正线性单元进行了联合考虑，以评估连接每个特征图的两个连续操作关闭其的可能性并修剪概率高的信道。
PDF4 years ago
理性神经网络
本文探讨了神经网络中的有理激活函数，证明了有理神经网络比指数小的深度下的 ReLU 神经网络更高效地逼近光滑函数，并通过数值实验证明了有理激活函数的灵活性和平滑性使其成为 ReLU 的有吸引力的替代选择。
PDF4 years ago
关于学习 ReLU 及高斯边缘的时间 / 准确性权衡
本文探讨如何在高斯分布下计算最适合的 ReLU 模型，证明了学习受高斯边缘影响下的 ReLU 模型的难点，并提出了一种利用噪声半空间学习算法的近似最优解法。
PDF5 years ago
ICML有限宽度和输入维度的深度 ReLU 网络中的学生专业化
本文提出了一种通过梯度下降法训练 ReLU / Leaky ReLU 模型的方法，以实现两层和多层神经网络的节点专业化，证明了在适当的数据集和网络间条件下，该模型可实现特定形式的数据增强，获得固定大小的样本集，并展现出神经元节点的最小化分歧
PDF5 years ago
利用逐步放大的随机梯度自由对抗攻击揭示了使用成熟攻击方法对稳健性的高估
对 ReLu 神经网络进行梯度自由攻击可以提供对抗性攻击下的网络鲁棒性评估，相比于之前的最先进方法，可以更紧确地估计网络鲁棒性
PDF5 years ago
Dying ReLU 和初始化：理论与数值例子
本文研究深度神经网络中的 ReLU 激活函数在无限深度时可能出现神经元失活的问题，并提出一种新的不对称初始化方法以解决该问题。研究表明，该方法能够有效地预防神经元失活，并给出了实验结果进行验证。
PDF5 years ago
EMNLP是时候使用 Swish 了吗？比较不同的 Deep Learning 激活函数在 NLP 任务中的表现
本文通过对 21 种激活函数进行了首次大规模比较，并发现所谓的惩罚性 tanh 函数在 8 种不同的自然语言处理任务中表现最为稳定，可替换 LSTM 细胞中的 sigmoid 和 tanh 门，在具有挑战性的自然语言处理任务中实现了 2 个
PDF5 years ago
ICMLAdam 促进整流神经网络隐式权重稀疏化
本文提出深度神经网络在训练过程中能自动诱导出权重的分组稀疏性，利用此现象我们可以在训练完成之后快速减少模型尺寸，同时不会对模型表现带来太大影响。
PDF6 years ago
CVPR为什么 ReLU 网络在训练数据远离时会产生高置信度的预测，以及如何减轻这个问题
通过提出类似于对抗训练的新型鲁棒性优化技术，使得神经网络分类器可以在训练数据附近做出高置信度的预测，同时在远离训练数据的区域内降低置信度。
PDF6 years ago
Top-N-Rank：一种可扩展的面向推荐系统的列表排序方法
本论文提出了一种新的基于 Learning-to-Rank 方法的 Top-N-Rank 推荐算法，通过在排名列表中只评估前 N 个项目，消除评估低排名项目对学习排序函数的影响，并借助多种类型的隐式反馈来提高推荐质量，使用 ReLU 作为平
PDF6 years ago
NIPS非凸学习和优化的梯度均匀收敛性
研究非凸性学习任务中经验风险的精细属性（梯度）和群体对应属性的收敛速度以及收敛对优化的影响；提出矢量值 Rademacher 复杂性作为导出非凸问题梯度无维度一致收敛界的工具；给出了应用这些技术进行非凸广义线性模型和非凸健壮回归的批梯度下降
PDF6 years ago
具有单神经元隐藏层的 ResNet 是一种通用逼近器
利用只有一个神经元和 ReLU 激活函数的堆叠模块组成的深度 ResNet 可以均匀逼近 $d$ 维的任何 Lebesgue 可积函数，这对于输入宽度为 $d$ 的全连接网络是不可能的，因此这一结果表明 ResNet 架构增加了窄深度网络的
PDF6 years ago
分段线性激活函数的神经网络热带方法
本研究使用热带代数中 generalization 的概念对神经网络中的分段线性激活函数进行统一且独特的处理，将神经网络层看做是一个 tropical polynomial，进一步优化计算线性区域的上界，并提出了一种使用随机抽样有效计算线性
PDF6 years ago
ECCVARiA：利用 Richard 曲线控制深度神经网络中激活函数的非单调性
本文介绍了一种新颖的激活单元 ARiA，它可以有效地应用于深度神经网络（DNNs），并且表现比传统的 ReLU 要好得多。该函数是专门 Richard's 曲线的两个参数版本，它是非单调的，类似于新引入的 Swish，但是可以通过变换超参数
PDF6 years ago
面向 Relu 网络的快速计算认证鲁棒性
本文提供了两种计算和证明最小失真非平凡下界的算法 Fast-Lin 和 Fast-Lip，可以用于解决具有 ReLU 结构的神经网络的鲁棒性问题。相比于现有的解决方法，这两种方法计算速度更快，下界的质量更高，同时作者还证明了除非 NP=P，
PDF6 years ago