Sep, 2023

超出对数凹性：总和对数凹优化的理论与算法

PDF
TL;DR本文扩展了经典的凸优化理论，以最小化被称为总和对数凹函数的负对数的函数。我们展示了这些函数一般不是凸函数，但仍满足广义凸性不等式，揭示了某个被称为交叉梯度的向量的重要性，该向量一般与通常的梯度不同。因此，我们提出了反方向移动交叉梯度的交叉梯度下降算法，并进行了收敛性分析。作为我们总和对数凹框架的应用，我们引入了所谓的棋盘回归方法，依赖于总和对数凹函数。该分类器扩展了（多类）逻辑回归到非线性可分问题，因为它能够利用任意给定的超平面在特征空间上镶嵌，创建了一个类似棋盘的决策区域模式。
发现论文，激发创造
  • 对数凹性和强对数凹性综述

    该论文回顾和阐述了离散和连续设置中的对数凹性和强对数凹性问题，探讨了 Efron 定理和引理，证明了 Otto 和 Menz 提出的不对称 Brascamp-Lieb 不等式的基本单调性结论，同时回顾了对数凹性与其他数学和统计学领域的关系，包括测度集中，对数 Sobolev 不等式，凸几何，MCMC 算法，Laplace 近似和机器学习。

    Apr, 2014

  • 矩阵对数的半正定逼近

    本研究介绍基于半定优化算法的矩阵对数的近似方法，并符合操作凹性质，适用于研究涉及矩阵对数和相关函数的凸优化问题，如量子相对熵。

    May, 2017

  • 有条件强对数凹生成模型

    介绍了条件强对数凹模型的概念，该模型将数据分布因子化为强对数凹条件概率分布的乘积，并使用适应于数据分布的正交投影器来实现因子化，从而实现了有效的参数估计和抽样算法，并在物理字段等多个领域展示了该模型的实用性。

    May, 2023

  • 常数条件下对数凹密度的常微分方程算法理论与采样

    本文提出了一种近似线性的多元常微分方程算法，用于解决样本采集问题，特别是针对 Hamiltonian Monte Carlo 的多维 logconcave 密度函数，拥有多项式对数深度。

    Dec, 2018

  • 自协调分析用于 logistic 回归

    该研究论文探讨了如何使用凸优化方法和自协调函数对正方形误差和逻辑损失进行理论分析，并将这些方法应用于逻辑回归中，通过结果表明二元分类的新结果可以从最小二乘回归中轻松衍生。

    Oct, 2009

  • 一类非凸非凹极小极大问题的全局收敛与方差缩减优化

    研究非凸极小问题的解决方案，提出两种算法 AGDA 和随机 AGDA，以及一种方差缩减算法，可以应用于类似生成对抗网络和对抗学习等新兴机器学习应用。

    Feb, 2020

  • 逻辑回归：随机和在线优化的紧密边界

    本研究探讨了逻辑损失与其他广泛考虑的选项（如铰接损失）的区别，结论认为逻辑损失函数并没有优势。

    May, 2014

  • 分离数据梯度下降的隐式偏差

    本研究发现，在无正则化的逻辑回归问题、线性可分数据集上，使用均匀线性预测器的梯度下降法会收敛于最大间隔解的方向。收敛速度缓慢，方法适用于其他单调递减的损失函数、多类别问题和某些受限情况下的深层网络训练。此研究还可帮助理解模型的隐式正则化和其他优化方法。

    Oct, 2017

  • 对数配分函数的一类新上界

    本文介绍了一种基于指数域的分布的凸组合的对数划分函数的新的上界类型，适用于任何无向图模型，特别是树形结构分布的凸组合。该方法有唯一全局最小值，可以用于原模型的边际估计。此方法与更高的 treewidth 的结构相关联，从而与更高级的近似方法相关。

    Dec, 2012

  • 可分数据下的逻辑回归梯度下降收敛速率

    本文证明了在使用可变学习率运行梯度下降时，对于逻辑回归目标函数，损失 f (x) ≤ 1.1・f (x*) + ε，其中误差 ε 按迭代次数指数下降，并按任意固定解决方案 x* 条目大小的多项式下降。该文还将这些思想应用于稀疏逻辑回归，在那里它们导致了稀疏误差交换的指数改进。

    Jun, 2023