深层次风险优化的算法基础
提出了一种新的随机一阶算法框架来解决随机复合非凸优化问题,该算法覆盖了有限和期望设置,其中算法仅需要非凸目标项的平均光滑性假设和附加的有界方差假设,并证明了算法可以实现最佳复杂度界限。
Feb, 2019
本文针对机器学习中数据采集的困难和对泛化理解的缺乏,提出一种风险单调且效率较高的学习算法,解决了Viering et al. 2019提出的风险曲线非单调性的问题,同时提出了专门针对马尔可夫差分序列等非独立同分布的过程的经验Bernstein集中不等式的新方法。
Nov, 2020
本文提出一种基于AUPRC pipeline的技术方法,采用SOAP采样算法来提高分类性能,并利用最新的随机组合优化技术进行优化。该方法在图像和图形数据集上的实验结果表明,在AUPRC方面,我们的方法优于先前的方法。这是首次尝试通过证明收敛性来优化AUPRC。
Apr, 2021
该论文研究了一种用于解决机器学习中优化非凸或凸组合测度/目标的随机算法,并提供了适用于非凸和凸目标的收敛分析。其中用到的算法是基于移动平均估计器的,且还提供了可以提高实现精度的新方法。
Feb, 2022
本文通过实验证明深度学习中组合性损失函数具有更好的性能表现,同时针对正样本采样率、正则化、归一化/激活和优化器等算法进行深度 AUROC 最大化的讨论和探究
Mar, 2022
我们提出了一种随机近端线性方法的变体,用于最小化条件风险价值(CVaR)目标,该方法在机器学习中的风险测量中具有广泛应用。我们将一般的收敛定理应用于该模型,并通过实验证明,它比随机次梯度方法更好地利用了目标的结构,并且适应了损失函数的缩放,这使得调整更容易。
May, 2023
本文介绍了一个用于优化风险函数家族 X-risks 的深度学习库 LibAUC,它采用一种新的 mini-batch 管道实现 DXO 算法,实现了 CID、LTR 和 CLR 等多种任务的良好性能和收敛性。
Jun, 2023
离散优化问题在深度学习任务中经常出现,尽管神经网络通常操作于连续数据。本文探讨了一种基于分数近似的框架,用于解决依赖于神经网络的目标函数和离散优化变量的问题。通过利用离散变量的嵌入和自动微分框架的计算速度,在对抗性集合分类任务中,我们实验性地证明了我们的方法在速度和解决方案质量方面相比启发式方法具有更好的权衡。
Oct, 2023
我们建立了对于功能性的两步组合风险受限学习问题的强对偶关系,涵盖多个非凸损失函数和/或学习约束的情况,不受非凸性和最小技术假设的限制。我们的结果特别意味着在所研究的问题类中存在零对偶间隙,扩展和改进了(风险中性)受限学习的最新进展。
Dec, 2023