Jul, 2023

面向特征分布数据的可伸缩高维多元线性回归

PDF
TL;DR该论文提出了一种两阶段松弛贪心算法（TSRGA），用于对特征分布数据应用多元线性回归分析。TSRGA 的主要优势是其通信复杂度不依赖于特征维度，使其能够高度扩展到非常大的数据集。此外，对于多元响应变量，TSRGA 可以用于得到低秩系数估计。通过模拟实验验证了 TSRGA 的快速收敛性。最后，我们将所提出的 TSRGA 应用于金融应用中，利用来自 10-K 报告的非结构化数据，展示了其在密集大维矩阵的众多应用中的实用性。
发现论文，激发创造
  • 高维线性分类的特征分布式 SVRG

    本论文提出了一种名为 FD-SVRG 的新型分布式学习方法，用于高维线性分类，通过特征分布式而不是实例分布式，可以在通信成本和墙钟时间方面优于其他最先进的分布式方法。

    Feb, 2018

  • 大规模空间数据的多分辨率逼近

    本文提出了一种多分辨率逼近方法 (M-RA) 来处理具有不同空间坐标观测值的高斯过程，并基于多尺度基函数对空间结构进行建模。该方法既适用于参数推断，又适用于大规模数据集的预测，并且可以在分布式计算环境下实现并行化。通过模拟数据和卫星数据集的比较实验，M-RA 方法表现出优越的性能。

    Jul, 2015

  • 稀疏高斯过程回归和潜变量模型的分布式变分推断

    本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

    Feb, 2014

  • 用于分析全球环境数据的时空多分辨率逼近

    本文提出了一种针对全球数据的时空建模扩展方法，将多分辨率逼近（MRA）方法与分区及复杂协方差模型拟合相结合，实现了可扩展的计算性能和灵活的协方差模型，为分析全球性数据提供了实用的策略。

    Jun, 2020

  • 低秩协方差矩阵逼近的并行高斯过程回归

    本文介绍了两种基于低秩协方差矩阵逼近的并行高斯过程回归方法，这两种方法可以将计算负载分布在并行机器之间以达到时间效率和可伸缩性，并经过理论分析证明了这些方法的预测性能等价于一些集中式的近似高斯过程回归方法，并且在两个真实数据集上的实证评估表明我们的并行高斯过程回归方法比其集中式对应物和全高斯过程方法具有更高的时间效率和可伸缩性，同时实现与全高斯过程方法相当的预测性能。

    Aug, 2014

  • 分布式柔性非线性张量分解

    本文提出了一种分布式、灵活的非线性张量分解模型，通过可避免昂贵的计算以及提供高质量推理的上限，它能够克服传统张量分解模型中的限制，并展现出在 CTR 预测方面的巨大潜力。

    Apr, 2016

  • 多元数据学习：简单高效的张量回归

    本文介绍了一种利用子采样张量投影梯度解决海量多维数据的张量回归方法，该方法基于投影梯度法和快速张量幂迭代，利用随机草图进一步加速，理论分析表明，算法能够在固定的迭代次数内收敛到正确的解，内存需求随问题的规模线性增长，并在多线性多任务学习和时空应用上表现出优越的实践性能。

    Jul, 2016

  • 分布式特征下的监督学习

    本研究探讨了在大规模数据集和大维特征空间场景下的学习问题，通过考虑网络中代理人传播的特征信息，并提出了一种新颖的动态扩散构造、管道策略和方差减少技术相结合的分布式学习算法，能够实现在原始域中的线性收敛和全局最小值解。

    May, 2018

  • 多模型线性回归用于大数据的高效数据分析方法

    本研究提出了一种新的数据分析方法，使用一种名为多模型线性回归（MMLR）的新定义的回归模型，将输入数据集分成子集并构建局部线性回归模型。该方法比其他基于回归的方法更高效、更灵活。研究还提出了一种基于（ε，δ）- 估计器的近似算法来构建 MMLR 模型，并对 MMLR 算法的正确性和效率进行了数学证明，其时间复杂度与输入数据集的大小成线性关系。此外，研究还在合成数据集和真实世界数据集上进行了实证实验，结果显示算法在许多情况下具有与现有回归方法可比的性能，同时提供了很高的预测准确度而几乎不需要花费过多时间。

    Aug, 2023

  • 分层预测的多变量在线线性回归

    我们考虑一个确定性的在线线性回归模型，允许响应变量为多变量。为了解决这个问题，我们引入了 MultiVAW 方法，它将著名的 Vovk-Azoury-Warmuth 算法推广到多变量环境，并证明它在时间上也具有对数遗憾。我们将结果应用于在线分层预测问题，并将该文献中的算法作为特例恢复出来，从而放宽了通常用于其分析的假设。

    Feb, 2024