基于最优传输引导的条件评分扩散模型
提出了变分薛定谔扩散模型 (VSDM),利用变分推理线性化薛定谔桥前向评分函数,实现了无需模拟的训练过程,可用于优化传输计划中的扩散模型。VSDM 在模拟实验中表现出对非各向异性形状的高效生成能力,并产生了相较于单变量扩散更直线的样本轨迹。在真实数据中,验证了算法的可伸缩性,并在 CIFAR10 的无条件生成和时间序列建模的条件生成中达到了竞争性表现。值得注意的是,VSDM 不再依赖热启动初始化,而且在训练大规模实验中更易调参。
May, 2024
本文研究使用基于得分的扩散模型进行深层生成建模的方法,系统比较和理论分析不同方法学习条件概率分布的效果,并证明得出条件得分最成功的估计器的理论依据。同时,介绍了多速度扩散框架,提出了一个新的条件分数估计器,与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff,可用于应用和进一步研究多速度扩散模型。
Nov, 2021
本文研究了基于公共变量的两个联合分布的条件 Optimal Transportation 问题,提出了一种基于 Maximum Mean Discrepancy 的正则化器用于解决连续变量和分布不同的情况,进而实现了条件转移计划的估计和统计一致性证明,并在分类、few-shot 分类和细胞响应预测等领域中进行了实证评估。
May, 2023
本文提出一种新的不确定性感知最优输运方案,其中包括能量基输运机制、聚类间扩展策略以及 T - 能量分数,可以有效地提高语义属性的判别能力,对于两个常用的 SCOOD 基准测试的性能超过了现有方法,其中 FPR@95 的得分提高了 27.69%和 34.4%。
Mar, 2023
本文提出了一种名为 NubOT 的神经非平衡最优输运 (OT) 方案,针对单细胞生物学领域中在不同时间点上获取的未配对分布或人群的比较问题,通过半耦合形式学习数据分布之间的最优耦合,解决了传统 OT 中质量守恒假设在人群大小变化时的不平衡场景下失效的问题,并应用到肿瘤细胞药物敏感性预测中,获得了明显的优化效果。
Sep, 2022
本研究介绍了一种新的无配对数据图像翻译方法 ——Unpaired Neural Schrödinger Bridge (UNSB), 它结合了 Schrödinger Bridge 模型和对抗训练等方法来进行学习,有效解决了高分辨率图像翻译困难的问题。
May, 2023
本文提出了一种基于得分的生成模型,通过 Langevin 动态学习和采样源数据和目标数据之间的 Sinkhorn 耦合,从而解决大规模最优输运问题。
Oct, 2021
本文提出基于 Unbalanced Optimal Transport (UOT) 的半对偶形式构建的新型生成模型,相比于基于 OT 的方法在处理噪点,稳定性和训练收敛速度等方面表现更优。通过实验验证了该模型的性质,并研究了 UOT 之间分布差异的理论上界。实验结果显示,该模型在 CIFAR-10 和 CelebA-HQ-256 数据集上的 FID 分别为 2.97 和 5.80,优于现有基于 OT 的生成模型。
May, 2023
使用 Transition-aware weighted Denoising Score Matching(TDSM)训练带有噪声标签的条件扩散模型,其中 TDSM 目标函数包含得分网络的加权和,并整合了实例级和时间相关的标签转移概率。通过在各种数据集和噪声标签设置上进行实验证明,TDSM 可以提高与给定条件相匹配的生成样本的质量,甚至在常见基准数据集上也能提高生成性能,从而证明了噪声标签对于生成模型学习的潜在风险以及 TDSM 在传统噪声标签修正的基础上进一步提高性能的实证贡献。
Feb, 2024