Oct, 2023

混合物和神经评论家：关于细度分布的点互信息特征

HTML
PDF
TL;DR本文研究相互信息、逐点相互信息轮廓、多元正态分布、蒙特卡洛方法，该研究还使用精细分布来研究现有相互信息估计器的局限性、变分估计器中使用的神经评论家的行为以及实验异常值对相互信息估计的影响，并展示了如何使用精细分布来获得基于模型的贝叶斯估计的相互信息，适用于具有领域专业知识且需要不确定性量化的问题。
发现论文，激发创造
  • 离散连续混合模型的互信息估计

    本文提出了一种新的，适用于离散-连续混合情况的相互信息估计器，并通过数值实验证明了该估计器的优越性。

    Sep, 2017

  • 互信息测量的形式限制

    本文证明了任何互信息测量方法都有严重的统计限制，证明了从N个样本估计的任何分布自由、高置信度的互信息的下限均不能超过O(ln N)。

    Nov, 2018

  • 神经熵估计：一种更快的互信息估计方法

    提出了一种更快的方法，称为互信息神经熵估计（MI-NEE），其将互信息估计变为估计熵的过程，通过使用自定义参考分布和选择均匀分布作为参考分布来实现更快的收敛。

    May, 2019

  • 理解变分互信息估计器的局限性

    论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差-方差权衡性能。

    Oct, 2019

  • 基于神经网络的逐点依存关系估计方法

    本文提出了两种方法（Probabilistic Classifier和Density-Ratio Fitting）来解决MI估计中存在的方差大的问题，这两种方法可以自然地获得点对点的依赖信息，为自监督学习和跨模态检索任务提供了有效方法。

    Jun, 2020

  • 同胚信息神经估计

    DINE是一种估算连续随机变量条件互信息的新方法，通过变换使目标变量用更简单的分布替代，从而能够有效地评估条件互信息，并在估算互信息，条件互信息和条件独立性测试等三个任务中表现出比竞争对手更好的性能。

    Nov, 2022

  • 基于变分$f$-散度和错排的判别式互信息估计

    本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器，并在基准情景下进行的实验表明，该方法在准确性和复杂性方面优于现有的神经估计器。

    May, 2023

  • 超越常规：互信息估计评估

    本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

    Jun, 2023

  • 最大切片互信息

    本文提出了一种信息理论的广义CCA方法，称为最大切片互信息（mSMI），它通过低维投影识别高维变量之间的最大互信息，能捕捉数据中的复杂依赖关系并具有较快的计算和可扩展的估计能力，同时保留了Shannon互信息的优秀结构特性和独立性的识别，提出了高效计算的神经估计器，并给出了其非渐近误差界。实验结果表明，在独立性检测、多视图表示学习、算法公平性和生成建模等任务中，mSMI方法在几乎没有计算开销的情况下始终优于竞争方法。

    Sep, 2023

  • MINDE: 互信息神经扩散估计

    通过基于Girsanov定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的Kullback Leibler散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023