Jun, 2021
通过块坐标几何中位下降实现高维度的稳健训练
Robust Training in High Dimensions via Block Coordinate Geometric Median Descent
Anish Acharya, Abolfazl Hashemi, Prateek Jain, Sujay Sanghavi, Inderjit S. Dhillon...
TL;DR本文展示了在高维优化问题中,通过将几何中位数只应用于精心选择的坐标块并使用记忆机制,可以保留 0.5 的最优破坏点,以及与 Gm 的 SGD 具有可比的非渐近收敛速率。