Nov, 2023

混合线性回归的全局在线识别收敛性

PDF
TL;DR本文研究了混合线性回归模型的在线识别和数据聚类问题，引入了两种基于期望最大化原理的相应的新的在线识别算法，证明了这两种算法都在不依赖传统的独立同分布数据假设的情况下全局收敛。在分析中的一个关键步骤是建立相应微分方程的稳定性以应用著名的 Ljung 的 ODE 方法，同时还证明了在已知参数的情况下，簇内误差和新数据被正确分类到簇中的概率渐近地与之前相同。最后，通过数值模拟验证了我们在线算法的有效性。
mixed linear regressiononline identification algorithmsdata clustering problemsexpectation-maximizationasymptotically
发现论文，激发创造
  • 学习近似最优复杂度的线性回归混合模型

    本文提出了一个适用于广泛条件下的固定参数可处理算法，用于解决多重线性回归模型问题，并实现全局收敛和样本复杂度的 nearly 线性缩放。

    Feb, 2018

  • 多模型线性回归用于大数据的高效数据分析方法

    本研究提出了一种新的数据分析方法，使用一种名为多模型线性回归（MMLR）的新定义的回归模型，将输入数据集分成子集并构建局部线性回归模型。该方法比其他基于回归的方法更高效、更灵活。研究还提出了一种基于（ε，δ）- 估计器的近似算法来构建 MMLR 模型，并对 MMLR 算法的正确性和效率进行了数学证明，其时间复杂度与输入数据集的大小成线性关系。此外，研究还在合成数据集和真实世界数据集上进行了实证实验，结果显示算法在许多情况下具有与现有回归方法可比的性能，同时提供了很高的预测准确度而几乎不需要花费过多时间。

    Aug, 2023

  • 混合线性回归的 Wasserstein 极小极大框架

    本文提出了 Wasserstein Mixed Linear Regression (WMLR)，通过使用一种优化传输的方法来解决 Mixed Linear Regression 问题。WMLR 可以处理混合模型的联邦学习任务，收敛速度较快且具有良好的普适性和泛化性。

    Jun, 2021

  • Mixture of Two Component Linear Regression 的 EM 算法全局收敛性

    本研究提出 Expectation-Maximization 算法在混合线性回归方程式以两个成分收敛的新证明，揭示其在混合线性回归方程式中的变异，为此提出几种新思想。

    Oct, 2018

  • 混合线性回归中 EM 迭代的摆线轨迹揭示

    我们研究了两组分混合线性回归 (2MLR) 的期望最大化 (EM) 算法的迭代轨迹和收敛速度。通过使用贝塞尔函数，我们提供了 EM 在所有信噪比情况下的明确闭式表达式，并在无噪音的情况下通过导出一个循环关系完全刻画了 EM 迭代的行为，从而揭示了所有迭代都位于某个摆线上。基于这种新的轨迹分析，我们展示了超线性收敛指数的理论估计，并进一步提高了有限样本层面上的统计误差界限。我们的分析为研究混合线性回归中的 EM 行为提供了新的框架。

    May, 2024

  • 非可实现设置下的混合线性回归学习

    本文研究混合线性回归在预测误差上的问题。我们提出了一种预测方法，其中模型预测一个值列表，而不是预测标签。我们证明了使用最小化所有组件模型的损失所定义的损失函数可以实现小概率的预测误差。此外，我们提出了基于交替最小化的算法，实现了在不需要假设可实现模型的情况下找到最佳拟合线。

    May, 2022

  • 基于 EM 和 AM 算法的混合线性回归的无知学习

    混合线性回归是参数统计学和机器学习领域中一个被广泛研究的问题，本文研究了在没有生成模型的情况下，如何通过异态学习使用期望最大化算法 (EM) 和交替最小化算法 (AM) 进行混合线性回归的参数估计。

    Jun, 2024

  • 模态线性回归的核函数选择：最优核函数和 IRLS 算法

    研究了模态线性回归中核函数的选择问题，证明了 Biweight 核函数可最小化 MLR 参数的渐近均方误差，提出了一种核函数类，保证了迭代重加权最小二乘算法是收敛的，特别是证明了使用 Epanechnikov 核函数可实现计算效率，进一步完善了已有的 MLR 研究脉络，提供了核函数选择的指导。

    Jan, 2020

  • 通过傅立叶矩来在亚指数时间内学习线性回归混合模型

    论文提出一种名为 Fourier Moment Descent 算法的新方法，用于在 mixture of linear regressions 和 mixture of hyperplanes 等多种情况下确定模型参数，可获得次指数级别的算法时间复杂度。

    Dec, 2019

  • 一种新的旧问题视角：线性回归的通用学习方法

    通过通用学习的角度重新审视线性回归问题，研究了标签 y 和特征向量 x^T 的线性组合表达式及其学习可行性，证明在训练数据的相关矩阵特征向量构成的子空间上，即使参数个数 M 多于样本个数 N，线性回归也可以具有很好的推广性能。

    May, 2019