gradient approximation | BriefGPT

关键词gradient approximation

搜索结果 - 11

分子图转换模型的高效锐度感知极小化优化
通过近似梯度和损失景观的限制，GraphSAM 算法减少了 Sharpness-aware minimization（SAM）的训练成本，并提高了图变压器模型的泛化性能。
PDF15 days ago
减少梯度逼近的对抗训练成本
采用梯度逼近的对抗训练方法能够减少建立稳健模型的成本，而对于常见数据集如 MNIST、CIFAR-10 和 CIFAR-100，该方法在训练时间上节省了高达 60% 的时间，并且在模型测试准确性上没有明显损失。
PDF10 months ago
镜像自然进化策略
零阶优化利用零阶查询近似一阶和二阶信息的理论研究较少，本文提出了一种重新参数化的目标函数，通过小干扰在极小值点和原始目标函数的 Hessian 逆之间达到极值，并提出了 MiNES 算法来最小化该目标函数，证明了该算法的协方差矩阵估计收敛至
PDFa year ago
ICML深度声明网络中梯度近似性的理解
探讨当忽略约束项时，深层声明节点的梯度可以被近似，仍然产生全局损失函数的下降方向的条件。
PDFa year ago
基于知识蒸馏的通信高效联邦学习 (FedKD)
本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取
PDF3 years ago
RETRIEVE：高效和鲁棒的半监督学习中的核心子集选择
本文提出 RETRIEVE：一种半监督学习的特征选择框架，通过解决混合的离散 - 连续二层优化问题以使选择的特征组合最小化标记数据的损失。实验结果表明，使用 RETRIEVE 能够显著提高半监督学习的运算速度并在存在 OOD 数据和不平衡数
PDF3 years ago
CVPRBi-GCN: 二元图卷积网络
本文介绍了一种二进制图卷积神经网络（Bi-GCN），它将网络参数和输入节点特征进行二元化，并将原始矩阵乘法改为二进制运算以加速计算，并使用一种新的梯度逼近反向传播方法来训练我们的 Bi-GCN。实验表明，与全精度基线相比，Bi-GCN 在节
PDF4 years ago
ICLR学习解决信用分配问题
本文提出了一种混合学习方法，即每个神经元使用强化学习策略来学习如何近似反向传播算法提供的梯度，并给出了对于特定类别的网络中，该方法收敛到真实梯度的证明。在前馈和卷积神经网络中，我们经验证明我们的方法学习如何逼近梯度，并且可以匹配或超越精确梯
PDF5 years ago
结构化演化与紧凑体系结构的可扩展策略优化
采用结构化随机正交矩阵的梯度逼近黑盒优化方法可以学习到比标准梯度估算技术更好的紧凑策略，从而提高了在资源有限的实际硬件上的速度和可伸缩性。
PDF6 years ago
Langevin Monte Carlo 与不准确梯度的用户友好保证
本文研究了从已知平滑和强对数凹概率密度函数中采样的方法，分析了基于过渡态随机游走的近似采样方法，并提出了几种保证误差的方法，包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况，以及二阶
PDF7 years ago
基于贝叶斯推断的网上凸优化：无梯度的梯度下降
本文研究在线凸优化和赌博臂问题中的梯度近似算法，利用在单个随机点上估算的梯度实现在无法完全了解函数信息时的最优决策选择和回报最小化。
PDF20 years ago