研究融合预训练生成模型以增强目标生成模型训练的问题，提出使用 KL 散度加权重心作为最优融合机制，其中重心权重经过最优训练以最小化适合目标群体的适当损失。研究表明，通过使用基于扩散得分方法训练辅助生成模型时，可以高效地计算最优 KL 重心权重。此外，展示了当辅助模型适合其自身任务并且辅助任务组合能很好捕捉目标时，我们的融合方法在总变异距离的样本复杂度上是无维度限制的。我们提供了融合算法的简洁计算实现，并通过涉及混合模型和图像数据集的数值实验在低数据情况下验证其效率。

Jun, 2024

在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。

Oct, 2023

通过本文，我们研究并证明了一种简化的通信高效分布式学习框架，它利用数据子集计算本地最大似然估计量，并结合本地估计值实现对全局 MLE 的最佳近似，并证明了该框架的统计性质与误差率性质。我们还研究了使用 KL 散度方法与更常见的线性组合方法组合本地 MLE 的经验性能，并表明 KL 方法在实际设置中比线性组合方法更为优越，可解决模型错误、非凸性和异构数据分区等问题。

Oct, 2014

该论文探讨了变分自编码器（VAEs）的一个微妙方面，着重解释了 Kullback Leibler（KL）散度，这是 Evidence Lower Bound（ELBO）中的一个关键组成部分，用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义 ELBO，引入正则化项以防止方差崩溃，并使用 PatchGAN 鉴别器增强纹理真实性，该方法在实现细节中采用了 ResNetV2 架构用于编码器和解码器。实验证明其能够生成逼真的人脸，为增强基于 VAE 的生成模型提供了有希望的解决方案。

Sep, 2023

本文提出了一种隐含贝叶斯融合的方法，该方法是通过一个对数似然池框架下的个体层面和群体层面模型的分布平均来实现的，本文将其应用于电能分解中并证明该方法可以比单一的广义矩匹配方法具有更高的预测准确度。

Oct, 2015

应用小方差渐近方法直接处理贝叶斯非参数模型的后验概率，得到一种超越聚类的特征学习目标函数，并提出一些易于实现的新算法，这些算法的效果被实验结果验证。

Dec, 2012

该研究通过引入一种新的变分方法，解决了计算成本高的蒙特卡洛方法在估计 Dirichlet 混合模型中 Kullback-Leibler 散度的问题，从而显著提高了计算效率，验证结果表明该方法优于传统的蒙特卡洛方法，为多样的 DMM 模型的快速探索和结构数据的统计分析提供了新的途径。

Mar, 2024

本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

Nov, 2009

本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

Nov, 2020

本文提出一种算法来逼近非标准贝叶斯后验分布，该算法基于极小化与更方便逼近分布的 Kullback-Leibler 散度，我们详细阐述了如何在实践中高效实现这一算法，我们还建议默认选择后验逼近格式，迭代次数，步长和其他用户选择，通过使用这些默认值，可以完全自动地构造好的后验逼近，适用于分层模型。

Jan, 2014