研究二层二值随机变量信念网络,其中条件概率 Pr [childlparents] 取决于父节点的加权和,证明使用大偏差理论可以计算许多感兴趣的概率的上下界,特别是证明作为网络大小函数的边际概率 Pr [children] 的精确度的收敛速率,证明适用于泛化传递函数参数化条件概率表的网络。
Jan, 2013
该论文介绍了一种利用似然比方法构建神经网络置信区间的初步实现,提出了 DeepLR 方法,该方法具有限定数据区域扩展的不对称区间以及考虑训练时间、网络结构和正则化技术等因素的优势。尽管当前实现方式在许多深度学习应用中代价过高,但在医学预测或天体物理学等领域,对单个预测的可靠不确定性估计已经具有明确的价值。这项工作突显了基于似然比的不确定性估计的潜力,并为未来的研究打下了良好基础。
Aug, 2023
研究了随机块模型在网络数据分析中的应用,采用最大似然拟合方法,当类别数量允许随着网络规模的增加而增加,且平均网络度数不小于对数多项式时,网络节点误分类的比例会以概率为零收敛。同时对由伯努利随机变量组成的数据,建立了最大似然块模型参数估计的有限样本置信区间,在分类分配方面具有一致性。最后通过 Facebook 个人资料的网络数据示例,拟合了具有协变量的随机块模型的 logit 参数化,得出了残余结构的块估计结果。
Nov, 2010
介绍了一个用于证明计算问题下界的框架,其中算法可使用对统计查询的访问来实现,并应用于检测种植的双部分图团分布中的统计查询算法的复杂性的近乎最优下界。
Jan, 2012
本文基于统计力学的思想,发展了一种适用于 Sigmoid 信念网络的均场理论,能够对真实的概率分布进行可追溯的逼近,并提供证据可能性的下限。我们展示了该框架在统计模式识别领域中的实用性,特别是在手写数字分类的基准问题上。
Mar, 1996
研究如何在分布式网络中学习高维、非参数和结构化(如高斯)分布,并考虑不同通信模型(包括独立、顺序和黑板模型)的交互限制对于最小化风险和 Fisher 信息的影响。
Feb, 2019
我们提出了一种快速的非迭代近似推理方法,通过前馈网络实现从变分后验进行有效精确抽样,该方法通过应用几种直观的模型独立方差减少技术,优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法,并取得了最新成果。
Jan, 2014
本文提出了一种统一的框架,用于基于交互式协议的分布式参数估计,可以导出各种紧密下限,适用于不同的参数分布族;特别是在高斯家族的原型情况下,我们的方法可以规避以往技术的局限性,并补充了匹配的上限。
Oct, 2020
在分布式网络中进行参数估计,考虑每个传感器从基础分布中观察独立样本并具有 $k$ 位通信其样本到集中式处理器,该处理器计算所需参数的估计值。我们为一类广泛的损失和分布模型开发极小化风险的下界,并表明在温和的正则条件下,当 $k$ 较小时,通信约束将使有效样本量减少 $d$ 倍,其中 $d$ 是被估计参数的维数。此惩罚随着 $k$ 的增加而以最多指数级别降低,这对某些模型如高维分布估计成立。对于其他模型,我们表明样本量的减少是与 $k$ 线性递减的,例如,当一些次高斯结构可用时。我们将结果应用于具有乘积 Bernoulli 模型、多项式模型、高斯位置模型和逻辑回归的分布式设置中,从而恢复或加强现有结果。
Feb, 2018
计算具有未观察到的混淆变量和离散值观察变量的因果图上的因果查询的边界的问题,我们显示线性规划可以被大大剪枝,使得我们能够解决较大规模的因果推断问题,以及提出了高效的贪心算法用于推断无额外观测变量的因果边界。