BriefGPT.xyz
Ask
alpha
关键词
derivative
搜索结果 - 5
自定义梯度估计器乃掩饰过后的直通式估计器
当学习速率足够小的时候，我们通过实验证明了一类大规模的权重梯度估计器等价于直通估计器 (STE)，无需改变权重初始化和学习速率，可用于处理量化感知训练中的梯度问题。
PDF
2 months ago
多项式工作量的高阶牛顿法
我们提出了一种通过在每次迭代中使用半定规划来构造和最小化一个关于所需最小化函数的 $d$ 阶泰勒展开的平方和凸逼近，从而实现了包括 $d$ 阶导数在内但每次迭代的成本与维度呈多项式关系的 Newton 方法的推广。我们证明了我们的 $d$
→
PDF
8 months ago
凸优化问题解的可微性
本文提供了凸优化问题解对问题数据可导的条件，其中涉及到 Slater 条件、二阶可导函数、雅可比矩阵非奇异性、隐函数定理以及 KKT 最优性必要性和充分性条件。
PDF
6 years ago
有限差分权重、谱微分和超收敛
本文提出一个算法，用于计算数值微积分中有限差分公式的权重，旨在提高计算效率并保持精度并推广到谱微分矩阵的计算。研究表明，即使针对高达 16 阶的导数，并且即使使用不对称的有限差分公式，可以仍然可以提高精度，但仅限于不超过 1 个数量级。
PDF
13 years ago
高斯信道中的互信息与最小均方误差
本文提出了一种新的方法，它能够将输入输出互信息与最小均方误差之间的关系联系起来，这种关系是基于信噪比的，无论输入的统计量如何，它都适用于非因果均方误差估计。
PDF
20 years ago
Prev
Next