gradient flow | BriefGPT - AI 论文速递

关键词gradient flow

搜索结果 - 52

EMNLP循环神经网络中的池化分析：何时以及为何应该使用池化？
本论文研究使用 Pooling 的循环神经网络（Recurrent Neural Architectures）相对于不使用 Pooling 的神经网络有更好的性能的原因。作者发现，不同的 Pooling 技术的效果有所不同，并提出了一种新的
PDF4 years ago
保持梯度流的情况下在训练之前选择获胜的票数
该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。
PDF4 years ago
使用逻辑损失训练的宽两层神经网络的梯度下降的隐含偏见
分析了具有同质性激活函数的两层神经网络在无限宽的情况下的训练和泛化行为，并表明在存在低维结构的情况下，梯度流的极限可以完全表征为某些函数空间中的最大间隔分类器，并且具有强的泛化边界，在实践中符合两层神经网络的行为，并证明了其隐式偏差的统计优
PDF4 years ago
最小二乘插值和核的有限下降和受限低等距
本文研究了复制内核希尔伯特空间中数据最小范插值的风险，并发现了这些插值在样本大小方面的非单调性。文中还针对相应的内核提出了新的估计和泛化保证。
PDF5 years ago
将神经网络训练为学习数据自适应核函数：可证明的表示和逼近优势
利用动态再生核赋范空间方法研究神经网络的逼近和表示优势，证明其自适应核函数表示比经典非参数方法中的预先指定的固定基础表示更具优势，同时通过渐进正则化说明其渐进收敛性。
PDF5 years ago
梯度下降对齐深度线性网络的层
本篇论文研究了在线性可分数据上应用于深度线性网络的梯度流和梯度下降的风险收敛和渐进权重矩阵对齐 —— 一种隐式正则化方法，详细说明了在套用于严格递减损失函数时（梯度下降的递减步长也是如此）：(i) 风险趋近于 0；（ii）标准化的第 i 个
PDF6 years ago
CVPRRank-1 卷积神经网络
本文提出一种卷积神经网络（CNN），通过 1-D 滤波器的外积组成 3-D rank-1 滤波器，训练后，3-D rank-1 滤波器可以在测试时分解为 1-D 滤波器进行快速推断，已证明具有更好的梯度流和低秩输出。
PDF6 years ago
Stein 变分梯度下降作为梯度流
本文针对 Stein 变分梯度下降算法（SVGD）开展了首次理论分析，讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性，同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的
PDF7 years ago
梯度流的粒子方法数值研究
研究了一个基于粒子方法的渐变流数值行为，给出了非线性扩散下一维聚集扩散方程的详细研究和模拟验证。
PDF9 years ago
ICLR没有卷积能走多远：改进全连接网络
探讨改进全连接网络的性能的方法，提出了线性瓶颈层和非监督预训练方法的影响，探索它们如何通过提高梯度流和减少稀疏性来改进网络，展示全连接网络在置换不变的 CIFAR-10 任务上达到了约 70% 的分类准确率，添加变形数据后达到了 78% 的
PDF9 years ago
有限马尔可夫链熵的梯度流
本篇论文在有限集合上构建了概率测度集合的度量，并且研究了该度量下连续时间 Markov 链演化到熵梯度流的问题，与 Jordan 等人提出的 Wasserstein 梯度流热力学解释相似但不同，该度量是通过离散版本的 Benamou-Bre
PDF13 years ago
Ricci 流和黑洞
本文研究了通过势能（或欧几里得作用）景观中的梯度流来连接不同鞍点的自然路径，并将其应用于广义相对论中。在研究 4 维欧氏引力的例子中，使用了具有边界 S ^ 1 x S ^ 2 的箱中引力的规范集合。通过模拟 Ricci 流种子模式，从小黑
PDF18 years ago