Mar, 2024

在 Dirichlet 混合模型中高效估计 KL 散度的变分方法

PDF
TL;DR该研究通过引入一种新的变分方法，解决了计算成本高的蒙特卡洛方法在估计 Dirichlet 混合模型中 Kullback-Leibler 散度的问题，从而显著提高了计算效率，验证结果表明该方法优于传统的蒙特卡洛方法，为多样的 DMM 模型的快速探索和结构数据的统计分析提供了新的途径。
efficient estimationkullback-leibler divergencedirichlet mixture modelsvariational approachcompositional data
发现论文，激发创造
  • 通过蒙特卡洛边缘化学习分布

    提出一种从样本中学习难以处理的分布的新方法，通过最小化 KL 散度使用参数分布模型（如高斯混合模型）来近似不可解的分布。通过引入 Monte-Carlo 边缘化和 Kernel 密度估计来解决计算复杂性和非可导优化过程的挑战，该方法能够学习复杂分布并生成更好的图片。

    Aug, 2023

  • 使用分段对数和指数不等式保证单变量混合体的 Kullback-Leibler 散度

    该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

    Jun, 2016

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过 Markov chain Monte Carlo（MCMC）与 varational inference（VI）相结合，并引入 variational contrastive divergence（VCD）作为新的 divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 面向分布式数据的狄利克雷过程混合模型可伸缩估计

    在分布式环境中，通过提出一种新的估计方法，允许本地节点创建新元素并通过概率一致性方案合并相应聚类的组件，同时保持估计的一致性，此法可在分布式和异步环境中实现高可扩展性。

    Sep, 2017

  • 混合模型中基于变分贝叶斯推断的参数估计和模型选择的一致性

    本篇论文研究、应用和优化混合模型和变化推理等技术对贝叶斯统计学、计算生物学和自然语言处理等多个领域的贡献，并研究证明了可变组成元素数量的情况下，情形近似的集中性，以及证明了这种多次证明技术确实是有效的。

    May, 2018

  • Analytic-DPM: 扩散概率模型中最优反变差的解析估计

    本文提出 Analytic-DPM，一种基于 Monte Carlo 方法和预先训练好的基于 score 的模型的无需训练的推断框架，通过计算反向过程中每个时间步长的方差和 KL 散度的优化解的解析形式，从而改善不同 DPM 的 log-likelihood，并实现快速推理。

    Jan, 2022

  • 对大型语言模型的知识蒸馏中库尔巴克 - 莱布勒散度的重新思考

    通过实证和理论证明，逆向 Kullback-Leiber（RKL）分散度在大语言模型知识蒸馏中并非寻找模式而是均值寻找，与前向 Kullback-Leiber（FKL）优化目标相同，经过足够多的迭代后二者收敛。基于实践约束，提出了一种简单而有效的自适应 Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合 FKL 和 RKL，根据评估结果显示，该方法在多个任务上优于基准，并提高生成回答的多样性和质量。

    Apr, 2024

  • 基于 KL 散度的模型融合

    本研究提出了一种方法来融合从异构数据集中学习到的后验分布。该算法基于均值场假设和简单的分配和平均方法，并通过正则化分配问题的变体来解决分配问题。对于指数族变分分布，我们的公式导致了一个有效的非参数算法来计算融合模型。该算法易于描述和实现，效率高，并在运动捕捉分析，主题建模和贝叶斯神经网络联合学习方面具有竞争力。

    Jul, 2020

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 通过 $h$-Lifted Kullback--Leibler Divergence 在紧致域上进行混合密度估计的风险界限

    基于样本数据，我们考虑使用某个组件类的有限混合密度来估计概率密度函数的问题，并引入 H - 提升 Kullback-Leibler（KL）散度作为标准 KL 散度的一种泛化和进行风险最小化的准则。在紧支持假设下，我们证明了使用 H - 提升 KL 散度时估计误差的期望具有 O (1/√n) 的上界，这扩展了 Rakhlin 等人（2005）和 Li 和 Barron（1999）的结果，从而允许风险绑定到非严格正的密度函数。我们使用 Majorization-Maximization 框架开发了相应的最大 H - 提升似然估计器（H-MLLE）计算方法，并提供了实验结果以支持我们的理论界限。

    Apr, 2024