- DecoR:使用鲁棒回归解除时间序列中的混杂
通过在频域内使用鲁棒线性回归,估计由第三个未观测时间序列混淆的两个时间序列之间的因果效应。
- 通过迭代梯度下降和阈值选择实现鲁棒性视觉跟踪
基于鲁棒回归的视觉跟踪技术中,引入了一种新的鲁棒线性回归估计器,通过迭代梯度下降和阈值选择算法解决异常值问题,同时将算法扩展到生成式跟踪器,并使用 IGDTS 距离来衡量样本与模型之间的偏差,最后提出了一种更新方案以捕捉跟踪目标的外观变化并 - 一种非渐进分布理论的逼近传递消息算法在稀疏和鲁棒回归中的应用
通过开发非渐进性近似传递消息(AMP)的分布特征,本文在稀疏回归和鲁棒回归方面取得了进展,建立了 AMP 的首个有限样本的非渐进性分布理论,适应了多项迭代次数,进一步改进了高斯近似的精确度,提高了 Lasso 和鲁棒 M - 估计器的分布特 - 高效稀疏最小绝对偏差回归与差分隐私
本文提出了一种用于稀疏鲁棒回归问题的快速隐私保护学习解决方案,其中学习损失包括鲁棒最小绝对值损失和 $l_1$ 稀疏惩罚项。为了快速解决给定隐私预算下的非光滑损失,我们开发了一种名为 FRAPPE 的算法,通过将稀疏 LAD 问题重新表述为 - 基于平均不确定性的鲁棒回归
我们提出了一种新的鲁棒回归的表述,通过整合不确定性集的所有实现并采用平均方法来获得普通最小二乘回归问题的最优解。我们证明了这个表述意外地恢复了岭回归,并在现有回归问题的鲁棒优化和均方误差方法之间建立了缺失的联系。我们首先证明了四种不确定性集 - 高维重尾数据下的健壮回归:渐近性和普适性
我们研究了在协变量和响应函数都存在重尾污染的情况下,强鲁棒回归估计器的高维特性。尤其是,我们针对一族包括无二阶甚至更高阶矩不存在情况下的椭圆形协变量和噪声数据分布,提供了 M - 估计的锐性渐近特性描述。我们表明,尽管具有一致性,在存在重尾 - 一种提高鲁棒回归算法断点的新框架
提出了一个新的框架来改善健壮回归算法的断点,从而提高算法对于异常点的容错能力。该框架通过在每一次迭代步骤中插入一个先验分布,并根据历史信息调整先验分布,增强了这些算法的断点。将这个框架应用于一个特定的算法,并推导出了一种稳健的针对迭代局部搜 - AAAI推广线性模型的耐腐败算法
该论文提出了 SVAM(顺序变异 MLE),这是一个统一的框架,用于在受到训练数据中对手标签污染的情况下学习广义线性模型。SVAM 扩展到最小二乘回归、逻辑回归和伽马回归等任务,具有独立于广义线性模型目标的新颖方差缩减技术,通过迭代求解加权 - 主动标注:流式随机梯度
介绍了一种使用部分监督的主动学习方法,在详细阐述机器学习中随机梯度下降和鲁棒回归的基础上,提供了流式技术以证明其最小一般化误差和采样数的比率。
- 领域调整回归:ERM 可能已经学会了足以满足领域外推广的特征
本研究通过实验挑战了深度网络泛化不良的原因在于恢复 “正确” 特征失败的观点,并提出了一种新的领域调整回归(DARE)方法,该方法根据分布转移的新模型,通过域特定调整来统一一个规范潜在空间,并在该空间中学习预测。在有限环境下,该方法的收敛保 - 鲁棒回归再探:加速与改进的估计速率
本文主要介绍了在强污染模型下进行统计回归问题的快速算法,其中使用了鲁棒梯度下降框架,并提出了更快、更有效的算法来加速最优化过程。
- 全局收敛的加权最小二乘迭代重加权算法解决稳健回归问题
该研究提出了对 IRLS 鲁棒回归问题的全球模型恢复结果,建议加强基本 IRLS 例程,提供全球恢复的保证,可更好地抵御基本回归任务和应用任务的超参数错误,使用加权强凸和平稳性的新概念来理论分析。
- 使用 KL 回归在多个环境中识别不变因素
提出了一种新颖的 KL 回归框架,通过同步最小化参数模型和来自每个环境的观测数据之间的 KL 散度,可靠地估计具有多个潜在混淆因素的复杂多环境回归问题中的回归系数,可提高数据鲁棒性和泛化性。
- ICML希尔伯特 - 施密特独立准则下的强健学习
使用 HSIC 作为损失函数学习鲁棒回归和分类模型,以期望产生具有良好概括性能力的模型用于处理无监督共变量漂移任务,实验表明其优于标准损失函数取得最新成果。
- 控制中的安全探索鲁棒回归
研究在序列控制问题中的安全学习和探索问题,提出了一种深度健壮回归模型来预测安全探索的不确定性界限,证明了该方法在难以指定好的高斯过程先验的情况下优于传统的基于高斯过程的安全探索方法。
- 列表可解线性回归
该研究为第一篇在 list-decodable 设置中,给出了一种鲁棒的回归问题的多项式时间算法,当假设内点分布是 certifiably anti-concentrated 分布时,该算法能够成功地给出一个接近于真解的目标函数。
- 异常值存在下的实用贝叶斯优化
该论文针对含有离群点的贝叶斯优化问题,提出一种结合鲁棒回归与离群点诊断的算法,分类数据点,提高了效率和收敛率,并在实验中验证了该算法的有效性。
- MM草图作为数值线性代数工具
本文综述了数值线性代数算法领域的最新进展,着重介绍了利用线性草图技术来进行矩阵压缩的方法,以加速解决原问题。文章讨论了最小二乘、鲁棒回归、低秩逼近和图稀疏化的问题,并优化了这些问题的不同变体。最后,文章探讨了草图方法的局限性。
- 高维稳健回归估计的非正则化和岭正则化的渐近行为:严格结果
本文研究了高维稳健回归估计器的渐近性质以及基于概率启发式的方法解释了其渐近行为,通过随机矩阵理论、集中测度和凸分析的思想提出了严谨证明,这里对某些假设进行了放宽并发现当 $ au=0$ 时可作为极限情况来恢复。
- 高维鲁棒 M 估计:通过近似消息传递得到渐近方差
作者使用近似消息传递算法 (AMP) 来计算 M-estimator 的操作特性,在高维极限下分析 Lasso estimator 并研究正则化最小二乘问题中出现的额外的高斯噪音。