Feb, 2024

Mini-Hes: 一个可并行化的二阶潜在因子分析模型

PDF
TL;DR本文提出了一种使用 Mini-Hes 优化算法构建 LFA 模型的方法，通过分析 HDI 数据的 Hessian 矩阵，利用广义 Gauss-Newton 矩阵中的主对角块作为中介策略，弥合了一阶和二阶优化方法之间的差距，并在多个实际 HDI 数据集的缺失数据估计任务中证明了 Mini-Hes 使 LFA 模型超越了一些最先进的模型。
interactionsuser behaviorslatent factor analysislfa modelmini-hes optimization
发现论文，激发创造
  • 面向高维稀疏矩阵的图嵌入潜因子分析

    本文提出了一种基于图的潜因子分析模型，将隐藏的高阶交互与重复的低秩嵌入相结合，从而提高了对高维稀疏矩阵的表示学习能力，并在三个真实数据集上验证了其在预测丢失数据方面的优越性。

    Apr, 2022

  • 一种包含自适应数据容错恢复调整的随机梯度下降算法用于隐因子分析

    本文提出了一种 ADRC 结合 SGD 算法来快速且准确地分析高维不完整矩阵的潜在因子，并在两个高维不完整数据集上的实证研究中表明，该模型在计算效率和准确性方面优于现有的 LFA 模型。

    Jan, 2024

  • 非负潜在因子分析的动态线性偏置融合方案

    该论文介绍了一种动态线性偏差融合方案，用于高维且不完整数据的表征学习，通过将线性偏差向量扩展为矩阵，并建立二进制权重矩阵来动态切换线性偏差的状态，实现了非负潜在因子分析模型的动态线性偏差。实证研究表明，基于该方案的模型在三个真实应用领域的高维且不完整数据集上获得了较高的表征准确度，并具有高竞争力的计算效率。

    Sep, 2023

  • 关于最小迹因子分析的研究 —— 一首换了调的老歌

    本文介绍了 Minimum Trace Factor Analysis（MTFA）的放松版本，该方法对于具有显著异方差噪声的数据不会过度拟合，并解决了因子分析中常见的 Heywood 案例以及现有光谱方法中最近发现的 “病态条件的诅咒”。我们提供了有关所得低秩子空间的准确性以及计算该矩阵的拟议算法的收敛速率的理论保证。同时，我们发展了与现有方法（包括 HeteroPCA，Lasso 和 Soft-Impute）之间的一些有趣联系，以填补已经很大的低秩矩阵估计文献中的重要缺口。通过数值实验证明了我们的结果与用于处理异方差噪声的几个最近的提议进行了基准对比。

    Feb, 2024

  • 动态网络表示的动量非负张量因式分解模型

    本文提出了一种基于动量梯度下降的非线性潜在张量因子分解模型 (MNNL)，可从高维不完整张量 (HDI) 中提取非负潜在因子，改善了传统 LFT 模型的训练问题，提高了预测准确性和收敛速度。

    May, 2023

  • 大规模基于梯度的因子分析混合模型训练

    通过随机梯度下降方法，本论文针对高维数据提出了一种高效的高维混合因子分析（MFA）模型训练方法，并利用 MFA 应用于图像数据集进行样本生成和异常检测。

    Aug, 2023

  • 从隐藏特征中学习：联合因子分析与潜在聚类

    本文提出了一种联合因子分析和潜在聚类的框架，旨在学习矩阵和张量数据的聚类感知低维表示。该方法利用矩阵和张量分解模型来揭示潜在聚类结构，并通过潜在聚类结构作为先验信息来提高因子分解的性能。

    May, 2016

  • 一个可靠的分布式二阶算法

    本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

    Jun, 2018

  • 贝叶斯深度学习中的无 Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024

  • 应用于强化学习的可扩展 Hessian 对角近似的再审视

    本研究探讨了利用近似方法计算 Hessian 对角线的成本，提出了一种以较小的额外计算量为代价的改进方案 HesScale，并应用于强化学习问题中的二阶优化和步长参数缩放，实验证明 HesScale 方法比现有方法优化更快，通过步长缩放提高了稳定性，这对于将二阶方法扩展到更大模型具有很大的潜力。

    Jun, 2024