Nov, 2023

贝叶斯网络的熵和库尔巴克 - 莱布勒散度：计算复杂度与高效实现

PDF
TL;DR本研究提供了针对贝叶斯网络的计算机算法，通过利用网络的图形结构，将 Shannon 熵和 Kullback-Leibler 散度的计算复杂度从三次降低到二次，并提供了完整的数值示例。
bayesian networksmachine learningcausal inferenceshannon's entropykullback-leibler divergence
发现论文，激发创造
  • 从 $ε$- 熵到 KL - 熵：最小信息复杂度密度估计的分析

    本篇论文研究了基于 KL 散度的复杂度度量方法，为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式，并发现这种技术可以改进一些经典结果，特别是可以导出干净的有限样本收敛界限。

    Feb, 2007

  • 使用贪心搜索从大数据中学习贝叶斯网络：计算复杂度和高效实现

    本研究探讨了大数据环境下的贝叶斯网络结构学习问题，提出了使用预测性好坏拟合评分来加速贝叶斯网络学习的方法，并在环境和流行病学数据以及公共数据集上验证了其准确性。

    Apr, 2018

  • Kullback-Leibler 散度和似然的注记

    讨论了 Kullback-Leibler (KL) 散度在可能性理论中的关系，在附录中对其进行了简单严谨的推导，并强调了其在神经编码领域中的自然应用。

    Apr, 2014

  • 基于置信度熵的量子贝叶斯网络中干涉效应的不确定度测量

    本文提出了一种新的量子 - 类贝叶斯网络，以解释社会困境中人们的行为违反 Sure Thing 原则的现象，同时使用 Deng 熵提出了信仰距离概念，从而使得该模型在实证数据测试中证明是可预测和有效的。

    Sep, 2017

  • 使用分段对数和指数不等式保证单变量混合体的 Kullback-Leibler 散度

    该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

    Jun, 2016

  • 用于复杂网络比较的信息理论工具：光谱熵

    本文运用量子统计力学的技术来定义复杂网络的熵度量，并开发了一组基于网络谱属性的信息理论工具，可以用于最大似然估计和模型选择。通过将这个框架应用于人体微生物组的网络，我们通过层次聚类分析高精度地恢复出现有的社区关联。

    Sep, 2016

  • 正态 - 伽玛分布的 Kullback-Leibler 散度

    本文研究了正态 - 伽马分布的 Kullback-Leibler 散度，并发现它与具有共轭先验的单变量一般线性模型的贝叶斯复杂度惩罚相同。在此基础上，我们提供了两个 KL 散度的应用，一个是在模拟数据中，一个在实证数据中。

    Nov, 2016

  • 学习贝叶斯网络的样本复杂度

    研究使用最小描述长度（MDL）原则基于样本复杂性学习贝叶斯网络，并提出了使用样本复杂性结果加速学习过程的方法，同时表明了以熵距离为误差阈值的 epsilon-close 近似所需样本数量是 O ((1/epsilon)^(4/3) log (1/epsilon) log (1/delta) loglog (1/delta))。

    Feb, 2013

  • 贝叶斯网络的大样本学习是 NP 难的

    本文研究从数据中学习离散变量贝叶斯网络的算法的复杂度结果，结果表明即使具有独立性、推理或信息神谕，识别高得分的结构也很困难，负面结果也适用于每个节点最多有 K 个父母的离散变量贝叶斯网络，其中 k > 3。

    Oct, 2012

  • 离散可分解模型之间计算的差异

    本研究针对离散概率分布之间计算精确差异的应用，提出在满足一定条件的情况下，使用 Markov 网络可以计算一系列函数和差异，例如 alpha-beta 差异，以高效地获得精确值。

    Dec, 2021