Oct, 2022

带粗略学习器的非参数概率回归

PDF
TL;DR提出了一种非参数化的概率回归方法，该方法通过结合基分类器训练得到的目标值粗化结果来预测目标变量条件概率密度函数，并使用结构化交叉熵损失函数作为正则化方法来平滑密度函数，从而实现精准的条件密度计算和高保真度的预测区间。通过在多个数据集上的实验验证，证明该方法性能良好，且在大型数据集上表现更加优异。
probabilistic regressionnonparametric approachgradient boosted forestsstructured cross-entropy loss functionprediction intervals
发现论文，激发创造
  • 快速非参数条件密度估计

    通过建立 full density 模型 f (yjx) 而非只有期望值 E (yjx)，条件密度估计广义了回归。本文提出了双核条件密度估计器，并引入了基于双数树的快速算法，用最大似然准则进行带宽选择，从而在处理多变量数据集时取得 380 万倍的加速。

    Jun, 2012

  • 复杂地形下用分布式回归森林进行降雨概率预测

    提出了一种将回归树与随机森林与经典 GAMLSS 框架中的分布并置合并的分布回归树和随机森林框架，以用于变量选择和建模非平滑依赖关系或高阶交互作用的情况，将其应用于大量气象预测数据生成的降水概率预测，并发现这种方法可以自动选择变量和交互作用，性能与计算成本高的提前预测信息或增强方法 GAMLSS 的性能相当甚至更好。

    Apr, 2018

  • 层次变分混合模型用于学习动力学概率反演

    这篇论文介绍了一种层级建模范式，结合了概率回归模型和贝叶斯非参数方法，采用了一种逼近非线性函数的局部回归技术，提出了两种有效的变分推理技术来学习这些模型，此方法可适应数据并涵盖无限数量的组件，本文对大型逆动力学数据集进行了验证和测试。

    Nov, 2022

  • 一种用于条件概率密度的神经贝叶斯估计器

    本文介绍了一种基于神经网络和贝叶斯诠释的非参数光滑回归算法来估计条件概率密度函数 f (t | x)，可应用于如最大似然拟合或预测任务等各种场景，并针对非高斯分布进行了自动处理。

    Feb, 2004

  • 非参数得分估计器

    本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者，提出了一种基于正则化非参数回归框架的统一视角，允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后，我们提出了基于迭代正则化的分数估计器，它们受到无旋核和快速收敛的计算优势的支持。

    May, 2020

  • 非参数回归模型的自动构建与自然语言描述

    本文提出了一种基于高斯过程的非参数回归方法的自动统计学家。该系统使用一种语言模型自动地为给定数据集探索可行的统计模型，并生成包含图表和自然语言文本的详细报告，同时可以在各种领域的 13 个实时数据集中展现最先进的外推性能。

    Feb, 2014

  • 有条件有效的概率拟合预测

    我们开发了一种新方法来创建预测集，它结合了符合性方法的灵活性和条件分布 P（Y | X）的估计。我们的方法扩展了现有方法，实现了条件覆盖，这对许多实际应用至关重要。我们提供了非渐近界限，明确依赖于对条件分布的可用估计的质量，使得我们的置信集在数据的局部结构上高度自适应，特别适用于高异方差情况。通过广泛的模拟，我们证明了我们的方法的有效性，显示其在条件覆盖和统计推断的可靠性方面优于现有方法，在各种应用中提高了统计推断的可靠性。

    Jul, 2024

  • 非参数方法下的无分布模型无关回归校准

    本文提出了针对回归模型的不确定性量化问题的非参数校准方法，该方法能够简单高效地提升模型个体校准的性能。通过数值实验，证明其优越性。

    May, 2023

  • 贝叶斯分类器中连续分布的估计

    本文研究了贝叶斯网络概率分布的建模问题，比较了两种密度估计方法，结论表明核估计是学习贝叶斯模型的有用工具。

    Feb, 2013

  • 用于分类的非参数校准

    提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

    Jun, 2019