feedforward networks | BriefGPT

关键词feedforward networks

搜索结果 - 10

适应时间：自然为何演化出多样的神经元
通过改变丰富的时间参数，如时间常数和延迟，我们展示了网络在处理具有时间结构的任务时更加轻松和稳健的能力，并且在处理输入和权重中的噪声时，调整时间参数的优势将在神经形态学硬件设计中发挥作用。
PDF2 months ago
MM神经切向核的正性
对于任何非多项式激活函数，神经切向核（NTK）是严格正定的，这个结果与宽神经网络的记忆能力直接相关。
PDF3 months ago
指数级加速的语言建模
FastBERT 是一种 BERT 变种，使用仅占其神经元的指数部分进行推断，同时表现出与类似 BERT 模型相当的性能。它通过将前馈网络替换为快速前馈网络来实现，每层推断只有 12 个神经元参与。我们提供了高效的 CPU 代码和 PyTo
PDF8 months ago
现代网络的路径 - 范数工具包：后果、承诺和挑战
通过使用支持一般 DAG ReLU 网络的路径范数工具包，该研究建立了适用于现代神经网络的泛化界限，该工具包不仅可以恢复或超越已知的界限，而且还具有计算简便、对网络对称性不变以及相对于算符范数的优化尖锐度等路径范数的优点。该工具包的多功能性
PDF9 months ago
语言模型实现简单的 Word2Vec 风格的向量算术
本文研究了语言模型在上下文学习中的机制和解决问题的策略，发现虽然它们规模巨大和复杂，但其实有时候它们会利用简单向量算术的机制编码抽象关系，并且利用前馈网络的简单线性更新算法来完成各种任务，在一定程度上具有可解释性。
PDFa year ago
深度神经网络中使用正交初始化解决梯度不稳定性的生物合理性探究
本文提出了两种初始化方案，允许网络自然演化其权重形成正交矩阵，并提供理论分析，预先训练正交化始终收敛，并通过实验证实，所提出的方案优于随机初始化的递归和前向网络。
PDF2 years ago
为什么深度残差网络比深度前馈网络具有更好的泛化性能？——— 一种神经切向核的视角
该论文从神经切向核的角度研究了深度学习中深层残差网络相对于前馈网络的泛化性能优势，并给出了数字结果支持。
PDF4 years ago
ICLR高速公路和残差网络学习展开式迭代估计
该论文探讨了高速公路网络和残差网络的新颖架构，并提出了基于展开迭代估计的另一种观点，该观点直接导致了高速公路和残差网络的构建。
PDF8 years ago
ECCV学习细化目标片段
本文提出了一种利用自顶向下的细化方法增强前馈网络进行物体分割的方法，命名为 SharpMask。该方法构建在 DeepMask 网络的基础之上，不同于当前 skip connection 的输出方法，SharpMask 通过在前馈传递中首先
PDF8 years ago
ICLR深度窄玻尔兹曼机是普适逼近器
该研究表明，深窄玻尔兹曼机是可视单元活动上概率分布的普适逼近器，如果它们有足够多的隐藏层，每个层次含有与可见层相同数量的单元。该研究提供了普适逼近器所需的深度和宽度的上下界，并且解决了有关无向网络的各种直觉问题，并且特别表明，与狭窄的 S
PDF10 years ago