通过研究 Le Cam 的连续性,我们探讨了用于检测稀疏向量存在的测试的统计极限,包括非光谱测试,并证明了对于高斯 Wishart 集合,PCA 阈值对于正向 spikes(自然先验)是最佳的,但这并不总是负向 spikes 的情况。
Jul, 2018
本文研究在一个稀疏极限下,当底层隐藏向量(构建排名为一的矩阵)非零组成部分数与向量总维数的比例为亚线性,信噪比以适当的速度趋于无穷大时,估计被加性高斯噪声矩阵污染的排名为一的矩阵的统计和计算限制,并证明了渐近互信息的显式低维变分公式,分析了稀疏状态下的近似消息传递算法。对于伯努利和伯努利 - 拉德马赫分布向量,当稀疏度和信号强度满足适当的比例关系时,我们发现渐近最小和算法均方误差的全有或全无相变。在渐近情况下,统计与算法之间的差距发散,表明近似消息传递对于稀疏恢复是非常困难的。
Jun, 2020
本文研究采用生成建模假设的主成分分析问题,提出了一个二次估计器,并在各种图像数据集上进行了实验。
Mar, 2022
本文探讨了使用具有随机权值矩阵和任意激活函数的全连接深度神经网络作为生成先验的一个集合,进行压缩感知和随机测量矩阵的相位恢复问题的信息理论优化性能和最好已知的多项式算法的锐利渐近性,并发现在这个问题上,生成先验相比于稀疏可分离先验在算法性能方面可能更有优势。特别地,本文得出的结论是,尽管稀疏性无法将压缩相位恢复的性能有效地推至其信息理论限制附近,但在随机生成先验下压缩相位恢复变得可行。
Dec, 2019
本文研究高维情况下的稀疏尖峰协方差矩阵模型,探讨了协方差矩阵和主子空间的极小极大估计以及极小极大排名检测。在估算尖峰协方差矩阵的最优收敛速率下建立了基于谱范数的优化, 并且还建立了在谱范数下估计主子空间的最小值率,也获取了最优排名检测边界的速率。
May, 2013
研究使用生成模型在压缩感知中提出了一种新的方法 Sparse-Gen, 允许在支持集之外的空间上进行稀疏偏差,从而实现使用特定于领域的先验并允许完整的信号空间内的重建。与其他方法相比,该方法在重建准确性方面有着显著的改进,特别是在迁移压缩感知中应用生成模型于数据稀缺目标领域时。
本文介绍了一种通过神经网络的深度生成模型来提供低维参数化图像或信号流形的方法, 证明了其在噪声的压缩感知方面的收敛算法,其样本复杂度与先前的稀疏方法相比具有线性的优越性和改进的潜力。
Dec, 2018
本研究介绍了一种使用稀疏计算的神经网络训练和构建方法,通过引入额外的门变量来执行参数选择,并在小型和大型网络上进行实验验证,证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。
Nov, 2016
本文通过对核谱聚类方法进行首次分析,发现在维度和数量同时增长的情况下,核矩阵的归一化拉普拉斯矩阵与所谓的尖峰随机矩阵呈类似的渐近行为。通过一种如尖峰矩阵模型的可分离条件,证明该模型中的一些孤立特征值 - 特征向量对携带聚类信息。我们精确评估了这些特征值的位置和特征向量内容,在理论和实践角度揭示了核谱聚类中非常重要(有时相当破坏性)的方面。最后将结果与 MNIST 数据库中图像实际聚类的性能进行比较,证明了理论和实践之间的重要匹配。
Oct, 2015
本文指出,关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构,从而导致了一种新的稀疏估计系统,当授予训练数据时,可以在其他算法失败的方案中高效地估计最优解,包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。
Jun, 2017