Mar, 2024

基于正规化流的互信息估计

PDF
TL;DR通过引入基于正规化流的估计器，我们提出了一种新的互信息（MI）估计方法，该估计器将原始数据映射到具有已知闭式表达式的目标分布中。我们证明了我们的方法可以为原始数据提供 MI 估计。通过高维数据的实验证明了所提估计器的优势。
发现论文，激发创造
  • 反问题的组合归一化流

    本文提出了一种基于流模型的方法来估计条件密度并解决逆问题，并通过实验验证其在产生高质量样本和不确定性量化方面的有效性。

    Feb, 2020

  • 干预密度估计的正规流

    本文介绍了一种利用干预深度规范化流方法从观测数据中估计潜在结果密度的方法，并且在各种实验中展示了其高效和可行性。

    Sep, 2022

  • 使用归一化流进行半监督学习

    FlowGMM 是一种基于正则化流的端到端方法，用于生成半监督学习，具有可解释性，适用于广泛的数据类型，包括文本数据、表格数据和半监督图像分类，并能够发现可解释的结构、提供实时的无优化特征可视化等。

    Dec, 2019

  • 概率建模与推理的正则化流

    本文综述了正则流动的研究现状，通过概率建模和推断的视角，分析了其表达能力、计算权衡等基础原理，并将其与更一般的概率转换联系起来，总结了其在生成建模、近似推断和监督学习等任务中的应用。

    Dec, 2019

  • 超越常规：互信息估计评估

    本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

    Jun, 2023

  • 正规流：当前方法的介绍与评述

    本文综述了 Normalizing Flows 在分布学习中的构建和使用，旨在提供模型的背景和解释，回顾现有的最新文献，并确定未来可行的有前途的方向和未解决的问题。

    Aug, 2019

  • 维度通用的正则化流

    本研究介绍了一种名为 NIF 的流行有噪声映射模型，可以通过注入变换学习数据流形的降维表示，有效提高了样品质量和数据嵌入的可分性。

    Jun, 2020

  • 黎曼连续归一化流

    本文提出 Riemannian 连续正规化流模型，通过设置连续性流作为常微分方程的解来定义流，其可以对光滑流形上的灵活概率测度进行有效参数化，在合成和现实数据方面与标准流或先前介绍的预测流相比可以显著提高表现。

    Jun, 2020

  • 分段正则流

    该研究介绍了分段归一化流，将目标分布划分为具有更好匹配标准正态基本分布拓扑结构的群集，并训练一系列流来建模复杂的多模式目标。

    May, 2023

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023