Jun, 2024

从 Wasserstein 梯度流的角度重新思考数值制表数据补全的扩散模型

PDF
TL;DR在数值表格数据集领域，我们引入了一种被称为 KnewImp 的新的原则方法，它通过 Wasserstein 梯度流框架以及重现内核希尔伯特空间，解决了扩散模型在缺失数据插补中存在的不准确插补和训练困难等问题，并通过广泛实验证明了该方法明显优于现有的最先进方法。
diffusion modelsmissing data imputationkernelized negative entropy-regularized wasserstein gradient flow imputationwasserstein gradient flowstate-of-the-art methods
发现论文，激发创造
  • 无对抗训练的深度最大均值差梯度流

    我们提出了一种梯度流程用于生成建模，通过将粒子从初始源分布传输到目标分布，其中粒子上的梯度场由噪声自适应最大均值差异 (MMD) 的梯度给出。我们称该方法为扩散 - MMD - 梯度流或 DMMD。该方法不需要对抗性训练，而与生成对抗网络 (GAN) 中的判别器训练相关。我们在 CIFAR10、MNIST、CELEB-A (64 x64) 和 LSUN Church (64 x 64) 的无条件图像生成中获得了具有竞争力的实证性能，并在 MMD 被 KL 散度的下界替代时证明了该方法的有效性。

    May, 2024

  • 对抗训练图形卷积网络实现缺失数据插值

    本论文提出了一种更通用的缺失数据填充 (MDI) 框架，使用图神经网络 (GNNs) 建立自编码器与边表征向量，通过多个损失函数提升性能。本方法在大规模实验中表现优于现有 MDI 方法，在大量缺失值时尤为明显。

    May, 2019

  • 通过 Wasserstein 空间中的近端梯度下降实现基于流的生成模型的收敛

    通过使用渐进流模型 JKO 流模型，在生成数据方面提供了理论保证，证明了其数据生成能力的 KL 保证在一些条件下的收敛速度为 O (ε^2)。

    Oct, 2023

  • 表格数据中的缺失值插值扩散模型

    本文提出了一种用于 Tabular 数据的基于条件分数的扩散模型方法（TabCSDI），并研究了热点问题中的三种处理技术。实验结果表明与现有方法相比，TabCSDI 是有效的，同时也强调了分类嵌入技术的重要性。

    Oct, 2022

  • MissDiff：在带有缺失值的表格数据上训练扩散模型

    这项工作提出了一个统一且原则性的扩散式框架，用于在各种缺失机制下从数据中学习丢失值，并通过多个制表符数据集的评估证明了其优于当前最先进的扩散模型。

    Jul, 2023

  • Wasserstein 梯度流的近似推断

    该研究论文介绍了一种基于 Wasserstein 梯度流的扩散过程的新近似推理方法，该方法直接在连续函数空间中计算 Wasserstein 梯度流，并具有可比拟的过滤能力。

    Jun, 2018

  • DiffImpute：具有去噪扩散概率模型的表格数据填充

    DiffImpute 是一种新颖的去噪扩散概率模型（DDPM），它能针对缺失值进行可信的填充，通过四个针对表格特征的去噪网络和数据融合来提升观测和填充数据的一致性，实现有效的推理，显著优于其他方法。

    Mar, 2024

  • 切片 - 瓦瑟斯坦流：通过最优输运和扩散的非参数生成建模

    本研究提出了一种基于梯度流的、无需参数的算法，用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上，并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系，该算法既能高效地解决优化问题，还提供了理论分析和有限时间误差保证。实验结果表明，该算法能够成功地捕捉不同类型的数据分布结构。

    Jun, 2018

  • 大规模 Wasserstein 梯度流

    本研究介绍了一种基于输入凸神经网络的渐进 Wasserstein 流逼近方法，无需领域离散化或粒子模拟，可用于机器学习应用，例如非线性滤波。

    Jun, 2021

  • 关于去噪扩散概率模型的收敛性的注意事项

    我们在这篇论文中，对扩散模型和数据生成分布之间的 Wasserstein 距离进行了定量上界的推导，该结果不依赖于数据生成分布的得分函数，并且适用于具有有界实例空间的任意数据生成分布，即使这些分布对勒贝格测度没有密度，而且上界不会受到指数依赖的影响。

    Dec, 2023