gradient-based methods | BriefGPT

关键词gradient-based methods

搜索结果 - 48

批归一化的指数收敛速率：在非凸优化中实现长度 - 方向解耦的力量
我们通过对多个机器学习实例进行研究，证明了 Batch Normalization 在优化任务中的加速效果源于其将参数长度和方向分开进行优化，针对这些机器学习问题，Batch Normalization 可以是一种收敛算法。
PDF6 years ago
Danskin 定理在无导数最小极化优化中的应用
本文提出了一种使用进化策略作为梯度估计器的黑盒极小极大问题的求解方法，并在实验中展示了该方法的有效性。
PDF6 years ago
一类非凸非光滑优化问题的收敛保证
对于非凸、非光滑函数的关键点寻找问题，本文研究了三种基于梯度的方法 (梯度下降、近端更新、弗兰克 - 沃尔夫更新) 的行为，并证明了这些算法的收敛速率，同时也为连续亚解析函数证明了更快的收敛速率，优化后的算法具有更低的迭代成本，并通过应用于
PDF6 years ago
ICML非凸博弈中高效的遗憾最小化
本文探讨了在非凸损失函数的重复博弈中如何最小化遗憾，并给出了基于梯度下降的方法来实现最优遗憾并保证收敛到平衡点。
PDF7 years ago
EMNLP神经机器翻译中的连续优化解码
该研究提出了一种基于连续优化的神经机器翻译解码方法，将离散问题转化为连续优化问题，并使用梯度法解决该问题。研究结果表明，该解码框架非常有效，可以改善交叉模型的翻译效果。同时，该框架也具有优点和缺点与重排框架相比。
PDF7 years ago
学习神经网络的特定分布困难度
探讨对输入分布和目标函数的特定假设是否足以保证使用基于梯度的方法进行学习，在此基础上提供了一些工具来证明不同类别的目标函数的难以学习性和困难输入分布。
PDF8 years ago
不只是一个黑盒子：通过传播激活差异学习重要特征
DeepLIFT（重要特征学习）是一种有效的神经网络重要性分数计算方法，可用于训练自然图像和基因组数据模型，并在梯度法方法上具有显着优势。
PDF8 years ago
ICML基于信息论的鉴别聚类学习用于无监督领域自适应
该文章研究了无监督领域自适应的问题，提出一种新的方法，该方法同时学习 domain-invariant features 和 discriminative features，并且以信息论度量作为优化目标，在目标域和源域中训练分类器。经过实验
PDF12 years ago