Oct, 2023

通过 Cramer-Wold 距离实现联合分布学习

PDF
TL;DR通过引入 Cramer-Wold 距离正则化和两步骤学习方法，本研究在处理高维数据集或观测变量间的复杂相关结构时，改进了变分自编码器 (Variational Autoencoder) 解码模型中存在的条件独立性假设限制，以实现高维数据的联合分布学习；实验结果表明所提出的方法在合成数据生成方面具有较高的性能。
conditional independencevariational autoencodercramer-wold distance regularizationjoint distributional learningsynthetic data generation
发现论文，激发创造
  • 通过混合 Cramer-Wold 距离实现均衡的边际和联合分布学习

    利用混合 Cramer-Wold 距离提出了 CWDAE（Cramer-Wold Distributional AutoEncoder）生成模型，在真实表格数据集上表现出了出色的合成数据生成性能，并且具备灵活调整数据隐私级别的特性。

    Dec, 2023

  • 用梯度下降学习高斯混合模型的 Cramer 型距离

    本文提出了一种适用于一般多变量 GMM 学习的距离函数 Sliced Cramé 2-distance, 其解析形式表达简单，且可以与神经网络顺利结合，将其应用于 Deep Q Networks 代表的一些算法中，获得了很好的表现。

    Jul, 2023

  • 相关变分自编码器

    该研究提出了基于相关变量分布的 CVAEs 方法来学习高维数据的潜在表示。通过对无向相关图的所有最大有向无环子图的可计算较低限的平均值来解决相关先验带来的不可计算问题，证明了该方法在公共基准评级数据集的匹配和链接预测，以及合成数据集上的谱聚类中的有效性。

    May, 2019

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • 使用很少或没有配对数据学习两个序列的联合分布

    提出了一个基于噪声通道生成模型的文本和语音序列的联合建模方法，包括变分推断、KL 编码器损失和条件独立性假设，实验结果表明仅仅使用少量成对数据即可学习两种模态间的相关性，并可以为低数据资源环境下的其他序列到序列模型提供一种有力的解决方案。

    Dec, 2022

  • Y - 对角耦合：用条件瓦砾均衡距离近似后验

    逆问题中，通过最小化联合度量与其学习近似度量之间的距离，许多条件生成模型近似后验测度。尽管这种方法对于 KL 散度的情况也控制了后验测度之间的距离，但对于 Wasserstein 距离则不成立。我们引入一种带有一组受限耦合的条件 Wasserstein 距离，它等于后验分布的期望 Wasserstein 距离。通过推导其对偶性，我们找到了正式推动条件 Wasserstein GAN 损失的方法。我们概述了条件 Wasserstein 距离和普通 Wasserstein 距离重合的条件，并且还展示了使用条件 Wasserstein 距离训练时获得有利的后验抽样性质的数值示例。

    Oct, 2023

  • 深度变分正则化典型相关分析

    本文介绍了一种名为 “深度变分典型相关分析” 的深度多视图学习模型，它通过深度神经网络对非线性观测模型进行参数化，扩展了线性 CCA 的潜变量模型解释。同时，我们还提出了一种名为 “VCCA-private” 的 VCCA 变体，它可以在提取共享变量的基础上，提取每个视图内的 “私有变量”，在没有硬指导的情况下分离多视图数据的共享信息和私有信息。实际数据集的实验结果表明，我们的方法在各个领域都具有竞争力。

    Oct, 2016

  • 基于密度间隙正则化的变分自编码器改进

    通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

    Nov, 2022

  • Cramer 距离作为解决偏置 Wasserstein 梯度的方案

    本文研究了概率分歧度量的性质，比较了 Wasserstein 度量与 Kullback-Leibler 分歧的差异，提出 Cramér 距离作为一种替代度量并设计了 Cramér 生成对抗网络，表现显著优于 Wasserstein 生成对抗网络。

    May, 2017

  • 关系正则化的自动编码器学习

    提出了一种新的算法框架用于学习数据分布的自编码器，该框架最小化模型与目标分布的差异，通过对可学习潜在先验的关系正则化，惩罚潜在先验与其对应后验之间的融合 Gromov-Wasserstein（FGW）距离，从而允许灵活地学习与生成模型相关的结构化先验分布，帮助多个自编码器的联合训练，即使它们具有异构的体系结构和无法比较的潜在空间，通过两种可扩展的算法实现该框架，适用于概率和确定性自编码器，我们的关系正则化自编码器（RAE）在生成图像方面优于现有方法，例如变分自编码器，Wasserstein 自编码器及其变体，此外，我们的关系联合训练策略也取得了在合成和真实世界多视图学习任务中鼓舞人心的结果。

    Feb, 2020