基于下确界卷积的功能输出回归：探究 Huber 和 ε-insensitive 损失

ICMLJun, 2022

基于下确界卷积的功能输出回归：探究 Huber 和 ε-insensitive 损失

Functional Output Regression with Infimal Convolution: Exploring the Huber and $ε$-insensitive Losses

Alex Lambert, Dimitri Bouche, Zoltan Szabo, Florence d'Alché-Buc

TL;DR本文提出了一种基于 Huber 和 ε-insensitive loss 的可扩展框架，能够处理函数输出回归中的各种异常和稀疏情况，并在向量值复制核希尔伯特空间的背景下导出了计算上可行的算法。在合成和真实世界的基准测试上，论文的效率得到了展示并与传统的平方误差损失进行了对比。

Abstract

The focus of the paper is functional output regression (FOR) with convoluted losses. While most existing work consider the square loss setting, we leverage extensions of the Huber and the $\epsilon$-insensitive loss (induced by infimal convolution) and propose a flexible framework capa

functional output regression convoluted losses huber loss sparsity vector-valued reproducing kernel hilbert spaces

发现论文，激发创造

当没有预警的异常值压倒时的连贯回归

研究了具有重尾噪声分布的健壮线性回归模型，提出了 Huber 损失估计器，证明其在样本量近线性和异常值分数倒数多项式情况下具有一致性。

Sep, 2020

Huber 损失函数的概率解释的另一种方法

本文提出了 Huber 损失的一种新的概率解释方法，该方法与 Laplace 分布间 Kullback-Leibler 散度的上界最小化相关，并通过模拟噪声分布来确定 Huber 损失的最适超参数值。

Nov, 2019

凸损失函数学习的迭代正则化

本文提出了一种基于次梯度方法的新型迭代正则化形式，经过实验迭代停止可以实现广义化。在再生核希尔伯特空间的非参数设定下，我们证明了在一般正则条件下的有限样本损失风险界。本研究提供了一类高效正则化学习算法，并给出了统计学和优化学在机器学习中相互作用的见解。

Mar, 2015

深度回归的稳健优化

本文研究了 Convolutional Neural Networks 的回归模型，使用了 Tukey 的 biweight 函数作为损失函数，同时提出采用逐渐提高分辨率的输入图像的粗粒度模型，经过实验表明在人体姿势估计和面部年龄评估任务中，这种方法产生了更好的效果。

May, 2015

$H$- 一致性保证用于回归

我们对回归的 H 一致性界限进行了详细研究，提出了适用于回归的 H 一致性界限的新定理，并针对对称分布和有界假设集的平方损失函数的代理损失函数证明了一系列新的 H 一致性界限，包括 Huber 损失、所有的 lp 损失 (p≥1)、平方 ε-insensitive 损失，以及在平方支持向量回归 (SVR) 中使用的 ε-insensitive 损失的负面结果。我们进一步利用我们对回归 H 一致性的分析，并推导出对抗性回归的合理代理损失函数，从而建立了新的对抗性回归算法，并在第 6 节报道了有利的实验结果。

Mar, 2024

在线回归竞争与再生核希尔伯特空间

研究了使用一种新的预测算法在无需假设标签与对象的生成方式的条件下，对已知标签对象的实时预测问题，通过比较此算法与一定范围内的预测规则，证明了此算法的误差率在极限范围下可达到最佳状态，可用于无参统计学的普适预测。

Nov, 2005

自适应 Huber 损失的主动回归

该论文提出了一种新的解决半监督学习下 Huber loss 优化问题的方法，该算法结合了多视角学习和流形正则化技术，能够在数据驱动的背景下，避免迭代式的计算方案，积极平衡标签数据的使用，以达到处理多种应用场景下的高效低成本、鲁棒性强的性能。

Jun, 2016

对异常数据鲁棒的回归的高效算法

本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

Mar, 2018

在线和分布自由鲁棒性：带 Huber 污染的回归和上下文臂

本文从对抗鲁棒性的角度重新审视了两个经典的高维在线学习问题，即线性回归和情境地图，并探究了无需假设数据分布，直接从全局角度保证它们对抗鲁棒的可行性。具体方法是通过交替最小化策略将普通最小二乘法嵌入到简单的凸约束计算不完整数据下的最优加权分布，并证明该方法在污染程度方面具有最佳的可重复性和完整性。

Oct, 2020

强健在线学习的最优性

本研究提出了一种基于 robust loss function 的在线学习算法，通过选择合适的 scaling parameter 和步长，可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。

Apr, 2023