Sep, 2018

隐式最大似然估计

PDF
TL;DR我们开发了一种简单的方法，用于估计隐式模型中的参数，无需了解似然函数或任何导出量的形式，但在某些条件下可以证明等价于最大化似然函数。此结果适用于参数有限且数据示例数量有限的非渐近参数设置，并展示了令人鼓舞的实验结果。
发现论文，激发创造
  • 用于隐式模型的神经近似充分统计量

    本文提出了一种使用深度神经网络学习数据的互信息最大化表示来构建难以计算似然函数的隐式生成模型的摘要统计量，并将其应用于传统的近似贝叶斯计算和最近的神经似然方法，提高了它们的性能。

    Oct, 2020

  • 对数线性模型中的最大似然估计

    研究了在条件泊松抽样方案下对数线性模型中的最大似然估计， 推导了模型参数的最大似然估计器存在的必要和充分条件，探究了自然和均值参数在不存在 MLE 情况下的可估性。此外，提出了拓展最大似然估计算法，并利用对数线性模型的几何性质，为对数线性模型分析的现有算法进行改进和修正。

    Apr, 2011

  • 使用近似边缘推断学习图模型参数

    本文研究直接拟合参数以最大化预测边际准确性度量的方法，该方法考虑训练时间模型和推理近似。对成像问题的实验表明，边际化学习在拟合的模型近似的困难问题上比似然近似表现更好。

    Jan, 2013

  • 隐式模型的高效贝叶斯实验设计

    本文提出了一个新的实验设计框架，用于解决隐式模型中的优化资源分配问题，采用了先前不可行的参数和数据之间的互信息作为效用函数，并使用基于贝叶斯优化的方法解决最优设计问题。

    Oct, 2018

  • 基于贝叶斯优化的基于模拟器的统计模型无似然推断

    研究推断基于模拟器的统计模型，提出了结合概率建模和优化的策略来加速无似然推断方法，实现了对几个数量级所需模拟次数的削减。

    Jan, 2015

  • 分层隐式模型与无似然变分推断

    本文介绍了一种基于隐式概率模型的变分推理算法，称为 LFVI。我们介绍了一种称为 HIEMS 的隐式概率模型，这种模型将隐含密度与分层贝叶斯建模相结合，可以处理具有丰富隐藏结构的数据。通过与模型的灵活性匹配来构建隐含变分族，从而实现了后验的准确近似。我们展示了 LFVI 的多种应用：在生态学中用于生态中的捕食 - 被食模拟器，在离散数据的贝叶斯对抗生成网络中以及在文本生成中的一个隐式模型。

    Feb, 2017

  • 使用比值估计实现无似然推断

    基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

    Nov, 2016

  • 通过互信息神经估计的贝叶斯隐式模型实验设计

    对于内隐随机模型，在数据生成分布复杂度很高但采样是可能的情况下，我们应当采用贝叶斯实验设计来最大限度地提高数据与参数变量之间的互信息，并利用基于神经网络的互信息估计来处理计算成本较高的难题，并在模拟研究中展示其可行性。

    Feb, 2020

  • 概率展开优化：面向潜在高斯模型的可扩展、无需反演的最大似然估计

    本文提出了一种用概率展开和迭代线性求解器相结合的方法，以绕过矩阵求逆的问题来学习潜在高斯模型，在实验中发现，这种方法可以比传统梯度期望极大化算法快一个数量级地学习潜在高斯模型。

    Jun, 2023

  • 隐式最大似然估计：通过离散指数族分布反向传播

    该论文提出了一种基于离散指数族分布和可微神经组件相结合的模型的端到端学习框架 Implicit Maximum Likelihood Estimation（I-MLE），并介绍了一种新型的噪声分布 perturb-and-MAP，该框架在几个数据集上表现良好，并且与依赖于特定问题松弛的现有方法相比竞争力强。

    Jun, 2021