implicit function theorem | BriefGPT

关键词implicit function theorem

搜索结果 - 7

MinBackProp -- 通过极简求解器反向传播
我们提出了一种通过最小问题求解器进行反向传播的方法，使用隐函数定理计算倒数，以实现对最小问题求解器的快速、稳定的训练。
PDF2 months ago
提高超梯度估计：预条件和参数重参数化的研究
双层优化是一种针对依赖于内部优化问题解的外部目标函数进行优化的方法，在机器学习中广泛应用于超参数调整。本研究通过研究隐藏变量方法的误差，分析了两种减小误差的策略：预处理隐藏变量公式和重新参数化内部问题。我们详细说明了这两种修改对误差的影响，
PDF4 months ago
优化控制学习问题中隐式微分的再探
本研究提出了一种使用隐式函数定理（IFT）来区分非凸约束离散时间最优控制（COC）问题中的最优轨迹的新方法，该方法直接评估从应用变量消除到 Lagrange 乘数项的矩阵方程，使得轨迹导数与时间步数呈线性关系，具有易于并行化处理、与模型大小
PDF8 months ago
ICLR元学习自适应深度核高斯过程用于分子属性预测
介绍了自适应深度内核拟合框架 (ADKF-IFT)，通过插值元学习和常规深度内核学习学习深度内核高斯过程。使用隐函数定理解决所得嵌套优化问题，表明其在药物发现领域表现优异。
PDF2 years ago
利用梯度匹配和隐式微分来学习生成合成训练数据
本文探讨了各种数据蒸馏技术，包括基于生成式教学网络、梯度匹配和隐函数定理的新方法，实验表明这些新方法比以前的方法更具计算效率并提高了在 MNIST 图像分类问题上训练模型性能。
PDF2 years ago
通过隐式微分优化数百万个超参数
使用梯度优化算法，利用隐函数定理及反向黑塞矩阵逼近来提高超参数优化的效率，成功应用于训练超大规模网络架构，例如数据增强网络，整个过程只比标准训练多花费少量内存与计算资源。
PDF5 years ago
凸优化问题解的可微性
本文提供了凸优化问题解对问题数据可导的条件，其中涉及到 Slater 条件、二阶可导函数、雅可比矩阵非奇异性、隐函数定理以及 KKT 最优性必要性和充分性条件。
PDF6 years ago