ICLROct, 2020

用于隐式模型的神经近似充分统计量

PDF
TL;DR本文提出了一种使用深度神经网络学习数据的互信息最大化表示来构建难以计算似然函数的隐式生成模型的摘要统计量，并将其应用于传统的近似贝叶斯计算和最近的神经似然方法，提高了它们的性能。
implicit generative modelsmutual informationdeep neural networksapproximate bayesian computationneural likelihood
发现论文，激发创造
  • 信息最大化神经网络进行自动物理推理

    介绍了一种基于机器学习技术的信息最大化神经网络 (IMNN) 方法，可以自动找到最佳的非线性数据压缩摘要来近似完整的数据信息，从而实现精准且高效的宇宙学参数估计。

    Feb, 2018

  • 神经群体 Infomax 快速稳健非监督学习的信息论框架

    提出了一种基于 infomax 原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。

    Nov, 2016

  • 通过互信息神经估计的贝叶斯隐式模型实验设计

    对于内隐随机模型，在数据生成分布复杂度很高但采样是可能的情况下，我们应当采用贝叶斯实验设计来最大限度地提高数据与参数变量之间的互信息，并利用基于神经网络的互信息估计来处理计算成本较高的难题，并在模拟研究中展示其可行性。

    Feb, 2020

  • 隐式最大似然估计

    我们开发了一种简单的方法，用于估计隐式模型中的参数，无需了解似然函数或任何导出量的形式，但在某些条件下可以证明等价于最大化似然函数。此结果适用于参数有限且数据示例数量有限的非渐近参数设置，并展示了令人鼓舞的实验结果。

    Sep, 2018

  • 通过深度神经网络学习用于近似贝叶斯计算的统计摘要

    通过训练深度神经网络，本研究旨在构建可靠的摘要统计信息，以近似表示参数的后验平均值，以提高 ABC 方法在模型参数推断中的精度和效率。在 Ising 模型和移动平均模型中，我们的方法构建的摘要统计量在精度上不仅匹配了理论上的最优摘要统计量，而且超出了其精度。

    Oct, 2015

  • 使用比值估计实现无似然推断

    基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

    Nov, 2016

  • 非线性回归模型的近似贝叶斯计算

    介绍了一种基于机器学习的方法，通过非线性条件异方差回归和改进的重要性采样方法估计后验概率密度，相较于现有方法在统计遗传学和排队模型等领域计算负担减轻了不少。

    Sep, 2008

  • 深度神经网络模型中的熵和互信息

    本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

    May, 2018

  • DNN 的概率表示：连接互信息和泛化

    本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

    Jun, 2021

  • 从隐式模型中挖掘金子，以改善无似然推理

    介绍了一种新型的基于模拟的推断技术，在高维情况下，这种技术超越了传统的近似贝叶斯计算方法，并扩展了基于神经网络的代理模型的方法，并演示了这些新技术比传统方法更具样本效率和提供更高保真度的推断。

    May, 2018