Jun, 2024

雅可比下降多目标优化

PDF
TL;DR我们提出了一种新的多目标优化算法，基于 Jacobian 下降方法，并设计了一个特定的汇集器来确保更新向量不与任何目标冲突，并且与每个梯度的范数成比例；我们在简单的图像分类任务中引入了实例风险最小化学习方法，实验展示了该方法相比于平均损失的直接最小化的有希望的结果，并且验证了我们理论上的发现，最后，为了提高 Jacobian 下降的速度，我们提供了更高效实现的路径。
multi-objective optimizationjacobian descentaggregatorinstance-wise risk minimizationefficient implementation
发现论文，激发创造
  • 多任务学习的冲突回避梯度下降

    本篇文章提出了 Conflict-Averse Gradient descent (CAGrad) 算法，用于优化多任务学习。CAGrad 算法可以自动平衡各项指标的目标，同时还保证可以收敛到平均损失的最小值，并在多任务学习和强化学习任务中取得了优秀的性能。

    Oct, 2021

  • 多目标推荐系统的多梯度下降

    本文提出了用随机梯度下降的方法（MGDRec）来解决推荐系统中多目标优化问题，通过梯度规范化将不同度量指标作为一个整体优化，确保同时提升多个利益相关者的目标，避免了全梯度计算的缺点并且在提高准确率的同时也提升了产品的质量。

    Dec, 2019

  • 矩阵流形上的 Riemannian 坐标下降算法

    提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

    Jun, 2024

  • 一种基于 Majorization Minimization 的统一交替方向乘子法

    提出了 Gauss-Seidel ADMMs 和 Jacobian ADMMs 框架及其收敛分析。我们展示了这些框架可以通过最小化可分离 majorant 替代加强本来只可以解决可分离问题的 ADMMs。我们还介绍了几种提高 ADMM 效率的技术，特别地，我们提出了 M-ADMM，它通过吸收 Gauss-Seidel ADMMs 的特点来缓解 Jacobian ADMMs 的缓慢收敛问题。在理论保证和数值实验方面，我们的新 ADMMs 表现优越。此外，我们还发布了一个工具箱，其中包含了很多压缩感知问题的高效 ADMMs 的实现。

    Jul, 2016

  • 多目标推荐中基于动量的梯度方法

    本文介绍一种多目标梯度下降算法，利用 Adam optimizer 优化多目标推荐系统，通过多个 Pareto front metrics 得出该算法具有显著的改进，且优于之前的算法。

    Sep, 2020

  • 一种精确量子化的分散梯度下降算法

    研究去中心化共识优化中量化对优化带来的影响，并提出了一种基于梯度下降的算法，证明算法在标准强凸和平滑假设下可实现消失的均值解误差，并通过模拟结果验证了理论收敛速度与实际结果的紧密一致性。

    Jun, 2018

  • 分布式镜面下降算法用于在线复合优化

    本文提出了基于近似镜像下降的一类在线分布式优化算法，以 Bregman 距离为测量函数，包括欧几里得距离作为特例，考虑两种标准信息反馈模型，并通过在线分布式正则化线性回归问题的仿真结果验证了算法的性能。

    Apr, 2020

  • 正则化梯度下降：快速盲源分离和盲去卷积的非凸解法

    提出一种在竞争性情况下能够保证精确复原的非凸算法，它具有计算效率更高的额外优势，可应用于无线通信中的物联网。

    Mar, 2017

  • 异构数据本地 GD 初步分析

    本文首次对局部梯度下降进行收敛性分析，用于平滑和凸但任意函数的平均值最小化问题，在联邦学习中涉及隐私数据和异构性。我们证明在低精度情况下，该方法的通信复杂度与梯度下降相同。

    Sep, 2019

  • 自适应梯度下降（无需下降）

    本文提供一个简明的证明，只需遵循两个规则即可自动化梯度下降：1）不要过快增加步长，2）不要超出局部曲率；通过遵循这些规则，可以得到对局部几何条件自适应的方法，收敛保证只取决于解的附近的平滑度，因此收敛于任何凸问题中，包括可以最小化任意连续两次可微的凸函数的问题，本文将探讨该方法在一系列凸和非凸问题上的性能。

    Oct, 2019