Nov, 2023

关于使用指数倾斜混合模型进行半监督估计

PDF
TL;DR在半监督学习场景中，我们提出了使用指数倾斜混合模型和最大非参数似然估计法进行的统计方法的进一步分析和理解，并在允许未标记和标记数据之间类别比例不同的情况下，得出了基于指数倾斜混合模型的估计的渐近性质；同时在随机抽样和结果分层抽样设置中，展示了相对于监督逻辑回归的提高效率；此外，当未标记和标记数据的类别比例受限于相同的情况下，我们以现有的半参数效率理论为支撑，对于这种效率改进做出了解释。我们还通过模拟研究来数值上验证了我们的理论发现。
semi-supervised settingexponential tilt modelmaximum nonparametric likelihood estimationefficiency improvementsemiparametric efficiency theory
发现论文，激发创造
  • 机器学习中的倾斜损失：理论和应用

    本文研究借助指数调控风险函数的方式进行模型优化的问题，提出了倾斜经验风险最小化（TERM）框架及其优化方法，该方法可以灵活地调节损失的影响，减小异常值的影响或增加其公平性，同时具有降低方差和处理不均衡数据的能力，与 Value-at-Risk、CVaR、DRO 等相关优化目标具有严密的联系，并表现出超越传统 ERM 框架的性能。

    Sep, 2021

  • 基于病例对照研究的逻辑回归有效半监督推断

    在半监督学习设置下，使用案例 - 对照抽样方法采集到的带有结果和协变量的标记数据集以及仅包含协变量的未标记数据集，可以通过构建观测到的标记和未标记数据的似然函数，并通过迭代算法获得最大似然估计，从而识别出截距参数并同时提高斜率参数的估计效率。

    Feb, 2024

  • 高维逻辑回归现代极大似然理论

    本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

    Mar, 2018

  • 逻辑回归估计的样本复杂度

    透过研究样本复杂度，我们发现逻辑回归模型的参数估计受到维数和逆温度的影响，其样本复杂度曲线在逆温度上具有两个临界点，明确地分割低、中、高温度区间。

    Jul, 2023

  • 安全贝叶斯广义线性回归

    该研究探讨了广义贝叶斯推断在错配模型下的应用，包括广义线性模型，通过 MCMC 抽样来实现广义贝叶斯 Lasso 和 Logistic 回归，并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。

    Oct, 2019

  • 非参数半监督学习的类别比例

    该研究提出了解决从正类和未标记数据中开发二元分类器的问题的方法，其中主要集中在如何准确估计正类和负类先验概率的问题。通过研究非参数类先验估计和使用混合模型估计混合比例，该研究提供了一个新的算法以解决问题，通过实际转换为低维空间来解决高维密度估计等问题。

    Jan, 2016

  • 使用局部极大似然估计的条件类别噪声的假设检验

    在监督学习中，评估标签质量成为一个尚未解决的研究问题。本文提出了一种替代路径，使用非参数逻辑回归模型构建基于污染标签噪声的假设检验，相比传统的参数方法具有更强的适应性和较少的模型设定问题。

    Dec, 2023

  • 对数线性模型中的最大似然估计

    研究了在条件泊松抽样方案下对数线性模型中的最大似然估计， 推导了模型参数的最大似然估计器存在的必要和充分条件，探究了自然和均值参数在不存在 MLE 情况下的可估性。此外，提出了拓展最大似然估计算法，并利用对数线性模型的几何性质，为对数线性模型分析的现有算法进行改进和修正。

    Apr, 2011

  • 使用数据增强的改进贝叶斯逻辑回归监督主题模型

    本文介绍使用正则化常量和 Gibbs 采样算法的辅助泊松 - 伽马变量，增强 PF 主题模型的性能。实证结果表明，该算法可以显著提高预测性能和时间效率

    Oct, 2013

  • 潜变量数据模型的在线 EM 算法

    本文提出了一种通用的在线版本 Expectation-Maximisation 算法，适用于独立观测的隐变量模型，可以更直接地将模型分布与观测的边际分布联系起来，而无需进行完整数据分布的积分，实现了一定的简化和加快收敛的效果，并且还适用于条件模型，例如本文所举出的线性回归模型的混合模型。

    Dec, 2007