关键词algorithmic differentiation
搜索结果 - 5
- 无矩阵雅可比链
计算科学和工程中的基本挑战是有效地计算雅可比矩阵。大规模的模块化数值模拟程序可以看作是将不同 iable 子程序进行序列求值，并考虑对应的元素雅可比矩阵。我们假设这些子程序的切线和伴随版本通过算法微分获得，而元素雅可比矩阵一般不可用。将经典 - 非光滑自动微分的复杂度
本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。
- 机器学习中的自动微分数学模型
本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。
- 不展开伴随：对 SSA 形式程序进行微分
本文介绍了基于源代码转换的逆向模式算法微分（AD），特别是现代编译器使用的静态单赋值（SSA）形式。该方法可以支持控制流、嵌套、变异、递归、数据结构、高阶函数和其他语言结构，并将输出的微分代码交由现有编译器来生成高效微分代码。我们的实现是 - 深度学习技巧
本文介绍了深度学习社群已经开发的一系列方法，包括梯度优化、算法微分、机器学习和随机牛顿法，并详细讨论了其中两种方法的数学细节。