本文提出了一种基于图的潜因子分析模型,将隐藏的高阶交互与重复的低秩嵌入相结合,从而提高了对高维稀疏矩阵的表示学习能力,并在三个真实数据集上验证了其在预测丢失数据方面的优越性。
Apr, 2022
本文提出了一种使用 Mini-Hes 优化算法构建 LFA 模型的方法,通过分析 HDI 数据的 Hessian 矩阵,利用广义 Gauss-Newton 矩阵中的主对角块作为中介策略,弥合了一阶和二阶优化方法之间的差距,并在多个实际 HDI 数据集的缺失数据估计任务中证明了 Mini-Hes 使 LFA 模型超越了一些最先进的模型。
Feb, 2024
该论文介绍了一种动态线性偏差融合方案,用于高维且不完整数据的表征学习,通过将线性偏差向量扩展为矩阵,并建立二进制权重矩阵来动态切换线性偏差的状态,实现了非负潜在因子分析模型的动态线性偏差。实证研究表明,基于该方案的模型在三个真实应用领域的高维且不完整数据集上获得了较高的表征准确度,并具有高竞争力的计算效率。
Sep, 2023
在线统计推断使得实时分析顺序采集的数据成为可能,本文引入了一种针对高维广义线性模型的在线推断新方法,通过在每次新增数据到达时更新回归系数估计和其标准误差,与现有方法相比,该方法以单次传递模式运行,大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法,结合了一种新型的在线去偏过程,能够在有效控制由动态变化的损失函数引入的优化误差的同时,保持低维度的摘要统计量。我们的方法,即近似去偏套索(ADL),不仅减轻了有界个别概率条件的需求,而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。
May, 2024
本文提出了一种新的联邦学习算法 FedADC,可以在分布式环境下加速核心算法 SGD 并控制数据漂移问题,同时不会增加计算和通信负载,并通过实验验证了其优越性。
Dec, 2020
本文提出了一种基于动量梯度下降的非线性潜在张量因子分解模型 (MNNL),可从高维不完整张量 (HDI) 中提取非负潜在因子,改善了传统 LFT 模型的训练问题,提高了预测准确性和收敛速度。
May, 2023
使用 LFADS 模型和 FPGA 实现的高效实时数据处理方法,能够从高维度的神经尖峰数据中推断出潜在的动态,为研究神经人群动力学和提高计算算法的实时处理能力提供了新的机会。
针对深度离散潜变量模型中的梯度计算和步长适应问题,本论文提出了利用数据增广和边缘化技术,得到分块对角 Fisher 信息矩阵及其逆的深度潜在狄利克雷分配表示,并利用该矩阵和随机梯度马尔科夫链蒙特卡罗方法,提出了主题 - 层适应性的随机梯度里曼蒙特卡罗方法,可全局学习所有层和主题的全局参数,实现了在大数据集上的最新成果。
Jun, 2017
本文提出了一种适应性步长选择的算法,基于传统的非线性优化技术,通过分析结果表明,该算法可生成与手动调节最佳步长相当的步长,并产生期望收敛于解的固定邻域的迭代。
LFADS 是一种基于变分自编码器的时序模型,在神经科学中应用广泛,能够通过推断出潜在动力学,对同时记录的高维神经放电数据进行低维度因子分析。
Aug, 2016