Mar, 2024

$H$- 一致性保证用于回归

PDF
TL;DR我们对回归的 H 一致性界限进行了详细研究，提出了适用于回归的 H 一致性界限的新定理，并针对对称分布和有界假设集的平方损失函数的代理损失函数证明了一系列新的 H 一致性界限，包括 Huber 损失、所有的 lp 损失 (p≥1)、平方 ε-insensitive 损失，以及在平方支持向量回归 (SVR) 中使用的 ε-insensitive 损失的负面结果。我们进一步利用我们对回归 H 一致性的分析，并推导出对抗性回归的合理代理损失函数，从而建立了新的对抗性回归算法，并在第 6 节报道了有利的实验结果。
发现论文，激发创造
  • $\mathscr {H}$- 替代损失函数最小化器的一致性估计误差

    本文主要研究代理损失估计误差及其保证方法，提供零一损失和对抗性损失两种情况下的具体保证方法，并通过模拟实验证明了其紧密性。

    May, 2022

  • 一种适用于具有光滑替代损失的学习的通用增长率

    该论文对用于分类的各种代理损失函数的 $H$- 一致性界限（和超额误差界限）的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率，并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类，并通过一系列新颖的结果展示了平滑 comp-sum 和约束损失的普遍平方根增长率。在这个普遍率的基础上，我们研究了不同代理损失函数的选择问题，并首先考察了 $H$- 一致性界限在不同类别的代理损失函数间的变化。然后，我们通过忽略常数并关注接近零时的行为，确定了最小化差距是这些界限差异化因素的关键。因此，我们深入分析这些差距，以指导代理损失函数的选择，并涵盖：对不同的 comp-sum 损失进行比较，差距变为零的条件，以及导致小差距的一般条件。此外，我们还展示了最小化差距在比较超额误差界限和 $H$- 一致性界限中的关键作用。

    May, 2024

  • 当没有预警的异常值压倒时的连贯回归

    研究了具有重尾噪声分布的健壮线性回归模型，提出了 Huber 损失估计器，证明其在样本量近线性和异常值分数倒数多项式情况下具有一致性。

    Sep, 2020

  • 有序回归方法的一致性

    通过特征函数的导数在 0 处的刻画，给一类替代性损失函数提供 Fisher Consistency 特性的证明。

    Aug, 2014

  • 因果回归的泛化界限：见解、保证和敏感性分析

    基于泛化界限的理论，我们提出了一种基于改变度量不等式的全新方法，能够紧密地将模型损失与人口中治疗倾向的偏差联系起来，并证明其在有限样本上的有效性，即使在隐性混杂因素和阳性违反的情况下也能成立。我们在半合成和实际数据上验证了我们的界限，展示了其出色的紧密性和实际效用。

    May, 2024

  • 自协调分析用于 logistic 回归

    该研究论文探讨了如何使用凸优化方法和自协调函数对正方形误差和逻辑损失进行理论分析，并将这些方法应用于逻辑回归中，通过结果表明二元分类的新结果可以从最小二乘回归中轻松衍生。

    Oct, 2009

  • 关于鲁棒线性回归的高效算法及下界

    研究了高维线性回归在对抗性污染下的稳健模型问题，并针对从高斯分布生成的未被修正的样本的基本情况给出了几乎最紧的上界和计算下界。

    May, 2018

  • 平方根 Lipschitz Loss 下的一致收敛

    本文研究基于 Rademacher 复杂度和平方根标量损失函数的 Lipschitz 常数，以高斯数据的泛化一致性保证为例，并处理了广泛的平方根 Lipschitz 损失函数的类别，包括适用于相位恢复和 ReLU 回归的非平滑损失函数，从而重新推导和更好地理解 “乐观率” 和插值学习保证。

    Jun, 2023

  • 对异常数据鲁棒的回归的高效算法

    本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

    Mar, 2018

  • 非协调正则化支持恢复

    本论文使用原始 - 对偶见证证明方法证明了在回归问题中，即使损失函数和 / 或正则化器是非凸的，也可以建立变量选择一致性和 l∞- 界限。使用这种方法，我们得出了两个关于支持恢复和 l∞ - 保证回归估计器的定理，我们的结果为使用非凸正则化器提供了严格的理论依据

    Dec, 2014