BriefGPT.xyz
Ask
alpha
关键词
scaling limits
搜索结果 - 5
多头 Transformer 动态的无限极限
我们分析了特征学习阶段中 Transformer 模型的训练动力学的各种尺度极限，确定了能够在训练过程中实现无限宽度和深度极限、允许注意层更新的一组参数化；然后利用动力平均场理论（DMFT）中的工具，分析了各种无限极限（无限关键词 / 查询
→
PDF
a month ago
形状和非形状神经网络的微分方程缩放极限
基于微分方程，本文研究了不同类型的神经网络，包括带有改变规模的激活函数和不带改变规模的激活函数的网络，以及归一化方法与激活函数的关系。
PDF
9 months ago
CVPR
异常检测中的表示学习：成功、限制和一个重大挑战
异常检测的主导范式在无限扩展上将面临基本限制，对于许多工业任务，当存在强任务先验时，可以克服这些限制；但当不存在这样的先验时，异常检测变得更加困难，因此我们提出了两个异常检测的重大挑战：i）通过异常检测来进行科学发现；ii）在 ImageN
→
PDF
a year ago
分段确定性采样算法的高维缩放极限
本文研究了具有重要作用的 Markov Chain Monte Carlo 算法中的，两个基本重要的例子 - Bouncy Particle Sampler (BPS) 和 Zig-Zag Process (ZZ) 的分别缩放极限。在高维情
→
PDF
6 years ago
随机几何图上模块化聚类的一致性
本文分析了基于随机几何图形的大类问题，以及解决这些问题的流行的模块化聚类方法，提出了模块化聚类在随机几何图形上的缩放极限，并展示了离散最优分区收敛于基于 Kelvin 形状优化问题的连续分区
PDF
8 years ago
Prev
Next