关键词gradient descent algorithms
搜索结果 - 7
- 深度手绘输出内核回归用于结构化预测
我们提出了一种深度神经网络架构家族，其通过 kernel-induced losses 的数据依赖有限维子空间来预测结构化输出，利用梯度下降算法进行训练，并在合成任务和真实世界的监督图预测问题中展示了方法的相关性。
- 一种运算符预条件视角下的物理信息机器学习训练
本文研究了梯度下降算法在物理信息机器学习方法（如 PINNs）中的行为，这些方法最小化与偏微分方程（PDEs）相关的残差。我们的关键结果是，训练这些模型的难度与特定微分算子的条件数密切相关。这一算子与底层 PDE 的微分算子的共轭平方有关。 - 超越准确性：生物可信的时间信用分配规则的泛化特性
通过揭示损失面曲率的角度，论文研究神经网络的梯度下降算法对生物可行性的影响，发现生物可行性的学习规则在通用性上具有更差且更不稳定的性能，其倾向于接近神经突触权重空间的高曲率区域。
- ICML深度 ReLU 网络神经切向核最小特征值的严密界限
本文通过对神经切向核的分析，提供深度 ReLU 网络 NTK 矩阵的最小特征值的紧密界限，考虑了有限和无限宽度的极端情况，研究了神经网络的内部特征矩阵的最小奇异值和输入输出特征映射的 Lipschitz 常数的上界。
- 带有最优传输的可微 Top-k 操作符
研究了 top-k 运算在使用算法实现后无法通过梯度下降算法从端到端训练的问题，提出了基于最优输运的平滑近似 SOFT top-k operator，并在 k 最近邻居和 Beam Search 算法中应用，改善了性能。
- 梯度下降算法在统计和计算范式中的随机微分方程渐近分析
本研究探讨随机优化中梯度下降算法（尤其是加速梯度下降和随机梯度下降）的渐近行为，并建立了渐近分析的计算和统计统一框架。基于时间依赖奥恩斯坦 - 乌伦贝克过程等建立梯度流中心极限定理，最终识别学习率、批处理大小、梯度协方差和黑塞矩阵等四个因素 - 加密加速最小二乘回归
本文中，我们提出了详细的分析方法，并证明了使用全同态加密方案下的数据对最小二乘和惩罚岭回归模型进行拟合的可行性，其中梯度下降算法在加密计算速度方面表现优异，并且理论结果也被证明可以确保解密的正确性，从而展示了使用加密数据近似传统统计回归方法