线性递归特征机器可证明恢复低秩矩阵
本研究通过对回归数据集的一系列实验研究,探讨了一种新型核机器 —— 递归特征机的行为,发现与神经网络行为类似的双下降现象表现,揭示了 RFMs 和神经网络行为之间的新联系,为未来的研究打下了基础。
Mar, 2023
提出一种名为 Rank-Aware FM 的模型,该模型使用不同排名的嵌入对成对交互进行采用,从而在具有显着变化频率的不同特征的实际数据集上实现更好的性能,提高了回归任务和分类任务的性能,同时增加了较少的计算负担,因此在工业应用中也具有吸引力潜力
May, 2019
利用条件独立 RIP 特性构造 GMF 模型的估计序列,实现在线学习、线性收敛及对只消耗 O (kd) 内存,在遍历一遍数据集时,仅需要执行矩阵−向量乘积操作的推广版因子分解机 (gFM)。
Aug, 2016
在这项工作中,我们对一类算法进行了统一的渐近性分析,其中包括了经典的迭代重新加权最小二乘(IRLS)算法、最近提出的用于线性神经网络的 lin-RFM 算法和线性对角神经网络上的交替最小化算法。我们的分析在一个 “批处理” 情境中进行,使用 i.i.d. 高斯协变量,并表明在适当选择重新加权策略的情况下,算法只需少数几次迭代就能取得良好的性能。我们还将我们的结果推广到了群稀疏恢复的情况,并证明利用这种结构在重新加权方案中比坐标加权明显改善了测试误差。
Jun, 2024
本文提出了一种用于稀疏数据预测的新型模型 Neural Factorization Machine(NFM),将因子分解机(Factorization Machines,FM)中二阶特征交互的线性性与神经网络中高阶特征交互的非线性相结合,实验证明 NFM 在深度学习方法 Wide&Deep 和 DeepCross 的基础上,使用更浅的结构却提供更好的性能,在实际中更易于训练和调节。
Aug, 2017
本研究通过对学习 Fp,π 和 Barron 空间中的函数这一问题的探讨,揭示了这些空间的逼近和估计可以在某种意义上等价。这使我们能够将重点放在逼近和估计这一较容易的问题上,当研究两个模型的泛化时。此外,我们通过两个具体的应用程序全面分析了我们的二元性框架的灵活性。
May, 2023
该研究介绍了一种新颖的模型 RFVM(相关特征向量机),用于解决在处理临床前瞻性研究时的大数据问题。实验证明,RFVM 能够在准确分类的同时提供最紧凑的数据子集。
Feb, 2024
该文介绍了一种新的回归算法,它学习线性因子函数,并解决了维度灾难的问题,可用于信念传播和强化学习等应用。通过正则化的贪心优化方案,在训练期间学习因子基函数。新的回归算法在基准任务上表现竞争力,学习的线性因子函数相当精简。
Dec, 2014