对称秩一矩阵估计的互信息:复制公式的证明
本文通过自适应插值方法和随机矩阵理论证明了 Takeda,Uda,Kabashima 和 Tulino,Verdu,Caire 和 Shamai 使用复制方法提出的公式适用于一类具有旋转不变性质的矩阵,进而超越了原有广泛应用于压缩感知和统计学的噪声线性估计问题中的 i.i.d. 矩阵假设。
Feb, 2018
该论文中提出了一种新的估计信号的方法,可以在压缩感知、稀疏叠加编码或分割多路接入等应用中使用,该方法基于统计物理的启发式重复方法,使用 Guerra 类型插值和空间耦合分析,得出了相对精确的互信息估计和最小均方误差单字公式,可以应用于所有离散有界信号的随机高斯线性估计。
Jul, 2016
使用统计力学工具分析了矩阵分解问题的可实现性和计算可处理性,在贝叶斯最优推断设置下计算任意计算时间内可能实现的最小均方误差和有效近似迭代推理算法可以达到的误差。
Feb, 2014
研究了检测结构化低秩信号矩阵被加性高斯噪声污染的问题,包括在高斯混合模型中的聚类, 稀疏主成分分析和子矩阵定位。通过将第一和第二时刻方法应用于这些 “种植模型” 和零模型之间的似然比来导出阈值的上下界,我们证明了在信号矩阵过于微弱时没有任何算法可以检测其信号。
Jul, 2016
本文介绍了使用 Approximate Message Passing(AMP)算法结合谱初始化来实现 Bayes-optimal 精度的方法,特别关注了如何应用于低秩矩阵估计问题中,同时讨论了其应用于稀疏低秩矩阵和高斯块模型中的实验结果。
Nov, 2017
我们发现在 A. Kraskov 等人的文章中声称两个实值随机变量之间的互信息的下界存在错误,并提出了一种新的方法建立在较弱的假设下得到较紧的下界,并在基因表达数据中展示了这种方法的实用性。
Aug, 2010
本文介绍了一种研究低秩矩阵估计的框架,其中考虑了矩阵分解因素的限制和观察到矩阵的一般输出通道,给出了一个统一的方式研究向量自旋玻璃模型(Spin Glass Model)。文章对低秩矩阵的贝叶斯最优推理过程的相位转变进行了详细的研究,还介绍了相位转变的分类以及它们与算法性能之间的关系。
Jan, 2017
从非线性和含噪声观测中估计一个低秩矩阵的任务中,我们证明了一个强普适性结果,表明贝叶斯最优性能可由一个等效的高斯模型表示,其先验参数完全由非线性函数的展开所确定。特别地,我们展示了为了准确重建信号,需要一个随着 $ N^{rac 12 (1-1/k_F)}$ 增长的信噪比,其中 $k_F$ 是函数的第一个非零 Fisher 信息系数。我们提供了最小可实现均方误差(MMSE)的渐近特征及一个类似于问题的线性版本的条件下能达到 MMSE 的近似传递算法。我们还提供了方法如主成分分析与贝叶斯去噪等的渐近误差,并将其与贝叶斯最优 MMSE 进行了比较。
Mar, 2024
通过建立适当的零和游戏,采用概念上的方法来证明相互信息的下限,进而推广到具有高阶交互作用的任意马尔科夫随机场,从而获得在 n 个节点上学习具有 r 阶相互作用的有界次数图上的马尔科夫随机场的算法,样本复杂度为 log (n),时间复杂度为 n^r。
May, 2017
本文考虑了压缩感知在独立同分布信号分布和独立同分布高斯测量矩阵情况下的基本限制,并在温和技术条件下严格描述了其渐近互信息和最小均方误差。结果表明,极限互信息和最小均方误差等于统计物理学中复制方法预测的值。这解决了一个长达十年的已知问题。
Jul, 2016