fully-connected networks | BriefGPT

关键词fully-connected networks

搜索结果 - 7

Transformer 可以在全连接网络无法实现的情况下证明稀疏令牌选择的学习能力
基于变形器架构的稀疏令牌选择任务分析，训练过程中表现出强大的某些任务的泛化能力。
PDF23 days ago
ICML深度学习中的协同和对称性：数据、模型和推理算法之间的相互作用
本文通过对深度学习的数据（D）、模型（M）和推理算法（I）进行联合分析，提出了解决高维数据下维数灾难的关键协同作用，其中深度学习的网络结构对数据分布的对称性要求最高。
PDF2 years ago
ICLR卷积网络为什么比全连接网络更高效？
对一种自然分布的任务进行的研究表明，对于标准训练算法，任何正交不变算法（即用大多数梯度下降法从高斯初始化中训练的全连接网络）需要 Ω（d²）个样本才能推广，而卷积神经网络只需要 O（1）个样本就足够了。
PDF4 years ago
从零开始学习卷积
本文通过研究最小描述长度作为指导原则以了解引出卷积的归纳偏差，提出了 $eta$-LASSO，一种简单的 LASSO 算法变体，用于学习具有本地连接的架构，并在图像分类任务上实现了最先进的准确性，为训练全连接网络提供了桥梁，使其在 CIF
PDF4 years ago
利用卷积在干草堆中寻找针头：探讨结构偏置的优势
该研究通过比较卷积神经网络（CNN）和全连接网络（FCN）在损失景观中的动态性来探讨它们究竟有什么不同。他们引入了一种将 CNN 映射为其等效 FCN（称为 eFCN）的方法，以直接在 FCN 空间中比较 CNN 和 FCN 的培训动态。该
PDF5 years ago
卷积神经网络和全连接网络的逼近等价性
本文在卷积神经网络与全连接网络的数学分析中建立起联系，并指出了两者在函数逼近率上具有本质上相同的界限，同时研究了不进行池化运算且基于循环卷积的卷积神经网络的逼近率。
PDF6 years ago
视频压缩感知的深度全连接网络
本文提出了一种基于深度学习的视频压缩感知框架，通过学习视频序列和测量帧之间的线性映射或深度全连接网络，获取了比以往方法更好的重建质量和速度，在多个视频序列上的广泛模拟中明确了该方法的优越性能，并对数据集规模和层数对重建性能的影响提出了未来研
PDF8 years ago