使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

May, 2024

模型泛化性和预测分布在数据的广泛应用中至关重要，本研究通过基于 Hellinger 距离、Jensen-Shannon 和 Kullback-Leibler 散度的模型差异概念，发现散度得分相对于最高 1 的概念在测试误差估计和检测率上提供更好的结果，实验涉及标准视觉和基础模型。

Dec, 2023

本论文提出了一种基于再生核希尔伯特空间中协方差符算子的新型分歧表示 Jensen-Shannon Divergence 的估计方法，该方法嵌入了数据分布到 RKSH，并利用其表示的符算子谱，该估计器对于小批量优化问题是灵活、可扩展且可微的，可以应用于二样本测试和生成对抗网络训练领域，并表现出优于现有技术的性能。

May, 2023

预测协作可能性和衡量对人工智能系统的认知信任比以往任何时候都更加重要。为了解决这个问题，我们提出了几种基于分歧度量（如 KL，JSD）的决策相似度度量方法，这些方法通过对人类获取的标签和各种模型所得到的标签进行计算。我们在一个文本蕴涵任务上进行了用户研究，用户被提供了来自各种模型的软标签，并被要求选择与他们最接近的选项。然后，用户看到了与他们最相似的模型的相似性 / 差异，并被询问他们对所选择系统的协作可能性和认知信任的看法。最后，我们对提出的决策相似度度量方法与调查结果之间的关系进行了定性和定量分析。我们发现人们倾向于与他们最相似的模型进行协作（通过 JSD 来衡量），然而这种协作并不一定意味着相似的认知信任水平。我们在我们的资源库中发布了与用户研究（如设计，输出）、模型和度量有关的所有资源。

Dec, 2023

通过提出一个带有单一、数学目标的评估框架，该论文意在解决合成表格数据质量评估的问题，允许通过结构化的方式推断度量的完整性，并统一从忠实性、下游应用和基于模型的方法等多个角度出发的度量，展示了显式表达结构的合成数据生成器在小型数据集上的卓越表现。

Mar, 2024

本文通过使用通常仅用于培训的散度和距离函数来对各种类型的 GAN 性能进行评估，观察了所提出的度量之间的一致性，发现测试时间指标并不支持使用相同训练时间标准的网络，我们还将所提出的度量与人类感知分数进行比较。

Mar, 2018

当训练数据集由 1:1 的狗和猫比例组成时，生成模型会更好地符合训练种群分布，而不是由 3:1 的狗和猫比例组成的其他模型。我们提出了一个新的评估协议来衡量生成的图像集与训练集在属性强度分布方面的差异。我们的指标为生成模型的评估奠定了基础。

Oct, 2023

在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。

Oct, 2023

提出了一种新的、高效的目标函数，通过动态先验，直接逼近单模态和联合多模态后验概率分布，利用 Jensen-Shannon 散度求解多个分布的问题，并理论证明了该模型的有效性，在无监督的生成学习任务中表现优异。

Jun, 2020

本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。

Jun, 2011