稀疏高维数据上基于推理网络的学习挑战

Oct, 2017

稀疏高维数据上基于推理网络的学习挑战

On the challenges of learning with inference networks on sparse, high-dimensional data

Rahul G. Krishnan, Dawen Liang, Matthew Hoffman

TL;DR本文研究基于深度神经网络的非线性因子分析中的参数估计问题，探讨了大规模、稀疏、高维数据中的欠拟合问题，提出了受随机变分推断启发的迭代优化方法及改进的稀疏数据表示方法，实现了在文本计数数据集上的最新结果和在 Top-N 推荐任务上的优异表现。

Abstract

We study parameter estimation in nonlinear factor analysis (NFA) where the generative model is parameterized by a deep neural network. Recent work has focused on learning such models using inference (or recogniti

nonlinear factor analysis deep neural network underfitting stochastic variational inference sparse data representation

发现论文，激发创造

神经网络矩阵分解的变分推断及其在随机块模型中的应用

使用贝叶斯神经网络和变分推断构建的概率神经网络矩阵因子分解模型能够获得与常规神经网络变体相当的预测性能，这一概率方法在处理随机块模型时非常重要，同时还提出了一个非参数块结构的神经网络矩阵分解模型的变分推断算法，并在 NIPS 合著数据集上评估了其性能。

May, 2019

非线性状态空间模型的结构化推理网络

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

稀疏矩阵分解

该研究探讨如何将矩阵分解为多个稀疏矩阵，提出了一种在随机性和稀疏性假设下的算法，该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值，矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。

Nov, 2013

信念网络中的神经变分推断和学习

我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

Jan, 2014

从贝叶斯稀疏到门控循环神经网络

本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

Jun, 2017

高维非参数回归和分类的稀疏输入神经网络

该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题，其中真实功能位于低维子空间中，并对统计收敛性进行了表征。

Nov, 2017

稀疏深度学习的高效变分推断及理论保证

本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

Nov, 2020

高维稀疏回归中的非参数估计稀疏深度神经网络

非参数方法估计部分导数与稀疏深度神经网络的参数估计结合，为深度神经网络的可解释性提供了有前景的研究结果。

Jun, 2024

因果网络：针对高维复杂数据的因果推断

本文提出了一种基于深度学习技术的因果推断方法，用于处理高维复杂数据，包括稀疏深度学习理论和随机神经网络，通过这些技术，该方法能够一致地解决高维度和未知数据生成过程的问题，并在存在缺失值的数据集中表现优于现有方法。

Mar, 2024

基于神经网络的稀疏预测分析的因子分解机

本文提出了一种用于稀疏数据预测的新型模型 Neural Factorization Machine（NFM），将因子分解机（Factorization Machines，FM）中二阶特征交互的线性性与神经网络中高阶特征交互的非线性相结合，实验证明 NFM 在深度学习方法 Wide&Deep 和 DeepCross 的基础上，使用更浅的结构却提供更好的性能，在实际中更易于训练和调节。

Aug, 2017