Jun, 2024

基于随机矩阵理论的多任务回归分析及其在时间序列预测中的应用

PDF
TL;DR我们提出了一个新的理论框架，将随机矩阵理论应用于高维非高斯数据分布下，为多任务回归提供准确的性能估计；我们通过将多任务优化问题形式化为一种正则化技术来使单任务模型利用多任务学习信息，并在线性模型的背景下导出了多任务优化的闭式解；我们的分析通过将多任务学习性能与各种模型统计量（如原始数据协方差、信号生成超平面、噪声水平以及数据集的大小和数量）进行链接，提供了有价值的见解；最后，我们提出了对训练和测试误差的一致估计，从而为多任务回归场景中的超参数优化提供了稳健的基础；将我们的方法与训练损失相结合，从而利用多变量信息，实验证实了在回归和多变量时间序列预测的合成和真实世界数据集上对于单变量模型的改进。
发现论文，激发创造
  • 随机线性目标组合多目标回归

    本文介绍了一种用于多目标回归的集成方法，通过现有目标的随机线性组合构建新的目标变量，并与 RAkEL 和一系列最新的多标签分类算法进行比较。在 12 个多目标数据集上的实验证明，该方法表现显著优于单一模型方法和随机森林方法。

    Apr, 2014

  • 高维统计推断与随机矩阵

    本文回顾了多元统计分析和随机矩阵理论之间的联系，着重探讨随机矩阵理论在数据集合分析中的应用。

    Nov, 2006

  • 随机矩阵理论在金融领域的应用：简要综述

    本文讨论了随机矩阵理论在金融市场和计量经济模型中的应用，涵盖了许多理论结果和具体应用，如马尔琴科 - 帕斯图尔谱及其各种扩展、随机 SVD、自由矩阵、最大特征值统计等，并着重阐述了该理论与投资组合优化和风险评估的关系。

    Oct, 2009

  • 广义岭回归的元学习：高维渐近性，最优性和超协方差估计

    提出并分析了一种基于元学习的方法，其中通过计算具有随机回归系数的高维多元随机效应线性模型的预测风险的精确渐近行为，选择广义岭回归中的权重矩阵为随机系数协方差矩阵的逆作为可扩展的度量；并通过使用从训练任务中获得的数据基于 Riemannian 优化方法提出并分析了估计随机回归系数的逆协方差矩阵的估计器，最后的仿真结果表明了在考虑的框架内所提出的方法对新的未观察到的测试任务的改进泛化性能。

    Mar, 2024

  • 高维回归中的缩放和重标定

    用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

    May, 2024

  • 多任务半监督学习的大维度分析

    本研究通过大维度研究了一种简单而多功能的分类模型，同时涵盖了多任务学习、半监督学习和考虑不确定标签的要素。利用随机矩阵理论的工具，我们表征了一些关键功能的渐近特性，一方面可以预测算法的性能，另一方面揭示了一些关于有效使用该算法的反直觉指导。该模型不仅强大到提供良好的性能保证，而且简单到深入理解其行为。

    Feb, 2024

  • 随机矩阵理论与神经网络的损失曲面

    此篇论文利用随机矩阵理论来理解和描述神经网络的损失曲面及其谱，并应用于现代神经网络的训练方法，为随机矩阵理论在现代神经网络的理论研究中提供了重要的贡献。

    Jun, 2023

  • 高维非线性多元回归和 Granger 因果关系的可扩展矩阵核学习

    提出了一种矩阵值多核学习框架，可用于高维非线性多元回归问题，并使用广泛的 Mixed Norm Regularizers 支持字典的向量值再现核希尔伯特空间上的疏松度约束；通过该框架，高维因果推断任务可被自然地看作稀疏函数估计问题进行，从而引出了一类新的图形 Granger 因果分析技术的非线性扩展。

    Aug, 2014

  • 利用随机矩阵理论提高深度学习的准确性

    通过利用随机矩阵理论来进行深度神经网络的层剪枝，我们可以实现神经网络结构和误差曲面的简化。通过奇异值分解（SVD），我们优化地确定了在训练过程中应该从神经网络的权重层中移除的奇异值个数，从而提高了神经网络的简化和精度，并在 MNIST 和 Fashion MNIST 数据集上验证了这一方法的有效性。

    Oct, 2023

  • 大规模任务高效可扩展的多任务回归

    提出一种名为 Convex Clustering Multi-Task regression Learning (CCMTL) 的算法，通过在预测模型的 k 近邻图上与凸聚类相结合，并使用新提出的优化方法有效地解决底层凸问题，使得其能够在包含大量任务的问题中实现准确性、高效性和线性可扩展性，并在真实世界和合成数据集上优于 7 种现有的 state-of-the-art 多任务学习方法。

    Nov, 2018