Oct, 2019

一种样本随机Frank-Wolfe算法

TL;DR本文提出了一种称为1-SFW的新的随机Frank-Wolfe算法,通过设计一种新颖的无偏动量估计器,实现了使用每次迭代的单个样品来优化,而无需仔细调整批量大小、步长、学习速率和其他复杂的超参数,并在随机凸优化、随机DR亚模拟最大化问题和一般的非凸设置中达到了最优收敛率。