用梯度下降学习高斯混合模型的 Cramer 型距离

Jul, 2023

用梯度下降学习高斯混合模型的 Cramer 型距离

Cramer Type Distances for Learning Gaussian Mixture Models by Gradient Descent

Ruichong Zhang

TL;DR本文提出了一种适用于一般多变量 GMM 学习的距离函数 Sliced Cramé 2-distance, 其解析形式表达简单，且可以与神经网络顺利结合，将其应用于 Deep Q Networks 代表的一些算法中，获得了很好的表现。

Abstract

The learning of gaussian mixture models (also referred to simply as GMMs) plays an important role in machine learning. Known for their expressiveness and interpretability, →

gaussian mixture models machine learning sliced cramer 2-distance neural networks distributional reinforcement learning

发现论文，激发创造

用切片瓦烧斯坦距离学习高斯混合模型

本文提供了通过切片 Wasserstein 距离的算法来求解高斯混合模型参数的新方法，并且与该算法相比，传统的期望极大化算法无论是从随机初始值还是数据分布的准确性方面都更加鲁棒。

Nov, 2017

通过混合 Cramer-Wold 距离实现均衡的边际和联合分布学习

利用混合 Cramer-Wold 距离提出了 CWDAE（Cramer-Wold Distributional AutoEncoder）生成模型，在真实表格数据集上表现出了出色的合成数据生成性能，并且具备灵活调整数据隐私级别的特性。

Dec, 2023

Cramer 距离作为解决偏置 Wasserstein 梯度的方案

本文研究了概率分歧度量的性质，比较了 Wasserstein 度量与 Kullback-Leibler 分歧的差异，提出 Cramér 距离作为一种替代度量并设计了 Cramér 生成对抗网络，表现显著优于 Wasserstein 生成对抗网络。

May, 2017

高斯混合模型空间中的 Wasserstein 型距离

此研究介绍了一种基于 Wasserstein 距离的方法，用于高维数问题中的 Gaussian 混合模型的优化问题，并讨论了它的性质和在图像处理中的应用。

Jul, 2019

一种新的概率距离度量及在高斯混合模型降维中的应用

本文提出了一个新的距离度量方法，可以比较两个连续概率密度函数。主要优点是能够为高阶高斯混合模型提供解析闭合形式表达式，从而满足所有度量特性，这种特性在现实信号处理应用中非常有用。为解决 Gaussian 混合模型压缩问题，本文提出了一种基于优化的贪心算法 OGGMR，该算法使用了作者提出的度量作为准则，可以用低阶高斯模型逼近高阶的高斯混合模型，同时保留了原始混合模型的几何形状。实验结果表明，OGGMR 算法比其他同类算法更快更有效。

Jun, 2023

评估科学生成模型的统计距离实用指南

本研究旨在理解和评估用于科学中生成模型的统计距离，包括 Sliced-Wasserstein、Classifier Two-Sample Tests、Maximum Mean Discrepancy 等方法。通过评估决策模型和生成医学图像模型，展示了这些不同距离对相似数据的不同结果。

Mar, 2024

使用 DDPM 目标函数学习高斯混合模型

本文研究通过 score estimation 进行 diffusion models 的学习，探讨 gradient descent 和 EM 算法在学习 Gaussian mixture models 方面的效率，证明了其在特定情况下达到高效的效果。

Jul, 2023

高斯混合模型空间中的 Gromov-Wassertein 类距离

该研究论文介绍了两种 Gromov-Wasserstein 类型的距离，用于高斯混合模型集合。这些距离可作为 Gromov-Wasserstein 的替代品，用于评估两个分布间的差异，并且为点云之间的最优传输计划提供了一种定义方式。同时，该研究还提供了实际应用案例，如形状匹配和高光谱图像颜色转换。

Oct, 2023

通过 Cramer-Wold 距离实现联合分布学习

通过引入 Cramer-Wold 距离正则化和两步骤学习方法，本研究在处理高维数据集或观测变量间的复杂相关结构时，改进了变分自编码器 (Variational Autoencoder) 解码模型中存在的条件独立性假设限制，以实现高维数据的联合分布学习；实验结果表明所提出的方法在合成数据生成方面具有较高的性能。

Oct, 2023

在高维空间中桥接分布学习与图像聚类

通过利用自动编码器将图像编码为高维潜空间，并使用 Monte-Carlo 边缘化和 Kullback-Leibler 散度损失来拟合 Gaussian Mixture Models (GMM) 的高斯成分和学习数据分布，从而实现图像聚类，并展示在高维空间中，相比于经典的 Expectation-Maximization (EM) 算法，MCMarg 和 KL 散度能够极大地缓解聚类算法面临的困难，实验证明了分布学习在利用 GMM 进行高维图像聚类方面的潜力。

Aug, 2023