network depth | BriefGPT - AI 论文速递

关键词network depth

搜索结果 - 11

ICLR通过晶格多面体计算整数 ReLU 神经网络深度下限
本文通过利用神经网络和牛顿多面体之间的对偶性，基于 tropical geometry 理论，证明了单层 ReLU 神经网络所能表示的最大值函数类集合随着网络深度的增加而严格扩大，同时允许任意的宽度，且保证网络的权重为整型数。并且，通过对这
PDFa year ago
探索对抗鲁棒深度神经网络的架构因素
本文针对深度神经网络（DNN）易受到对抗攻击的问题，通过对网络结构的宽度和深度进行综合研究，发现更高的模型容量并不一定有助于对抗攻击抵抗力的提高，最后一个阶段降低容量实际上可以提高对抗攻击的鲁棒性，同样的参数预算下，存在一种最佳的结构以提高
PDF3 years ago
ICML最大 - 连接网络
提出了一种名为 MCN 的神经网络架构，试图通过增加网络深度解决深度神经网络中遇到的一些问题，例如坏的局部极小值和不令人满意的泛化性能，证明了其每个局部最小值都可以优于前 $l$ 层组成的全局最小值，并且可以用高效的方式近似某些连续函数，基
PDF4 years ago
自注意力中深度和宽度的相互作用
该研究通过理论预测和系统实验，发现了自注意力网络中网络深度和宽度之间的深度有效性和深度低效性之间的宽度依赖性转变，并提供了在给定尺寸的自我注意网络中深度和宽度的最佳分配的明确量化建议。
PDF4 years ago
动态推理：一种新的高效视频动作识别方法
本文提出了一种动态推断方法，从网络深度和输入视频帧数的角度来提高推断效率，通过在输入帧和计算图的深度之间建立将预测模块放置在预先选择的检查点上，并按照预定义的路径逐步在网格上进行推断，可在中途进行预测和提前停止。通过实例化三个动态推断框架并
PDF4 years ago
多语言 BERT 的跨语言能力：实证研究
通过在不同语言和不同自定义 NLP 任务上的实验研究，本文详细研究了 M-BERT 中不同组建在其跨语言能力中的贡献，发现词汇重叠在跨语言成功中起到微不足道的作用，而网络深度则是成功的一个重要因素。
PDF5 years ago
神经网络架构的贝叶斯学习
本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依
PDF5 years ago
S-Net：一种用于 JPEG 压缩伪影抑制的可扩展卷积神经网络
该研究提出了一种可扩展的 CNN 框架，名为 S-Net，旨在通过动态调整网络规模，以达到实时操作，并最大化网络效率，实验证明其在 JPEG 压缩去噪方面的性能优于其他基于 CNN 的方法。
PDF6 years ago
神经网络的大小无关样本复杂度
研究神经网络学习的样本复杂度，提供了关于每层参数矩阵范数约束的 Rademacher 复杂度的新界限，改进了前人的成果，并使用一些新技术获得了网络深度的改进关系，且在一些额外假设的情况下，完全独立于网络大小 (深度和宽度)。
PDF7 years ago
调制识别的深度架构
我们调查了将最新的深度神经网络机器学习应用于无线电调制识别任务的最新进展，结果表明，无线电调制识别并不受网络深度的限制，后续工作应该集中在改善学习同步和均衡方面。这些领域的进展可能来自专为这些任务设计的新型架构或通过新的训练方法。
PDF7 years ago
ICLR深度神经网络中的特征学习 —— 基于语音识别任务的研究
本文研究表明，深度神经网络在语音识别任务中比浅层网络和高斯混合模型表现得更好，这是因为它们具有提取具有鲁棒性的区分性内部表示的能力。此外，我们表明 DNN 不能推广到与训练样本差异显著的测试样本，但是，如果训练数据足够代表性，DNN 的内部
PDF11 years ago