Jun, 2024

分数融合：通过 Kullback-Leibler 重心融合基于分数的生成模型

PDF
TL;DR研究融合预训练生成模型以增强目标生成模型训练的问题，提出使用 KL 散度加权重心作为最优融合机制，其中重心权重经过最优训练以最小化适合目标群体的适当损失。研究表明，通过使用基于扩散得分方法训练辅助生成模型时，可以高效地计算最优 KL 重心权重。此外，展示了当辅助模型适合其自身任务并且辅助任务组合能很好捕捉目标时，我们的融合方法在总变异距离的样本复杂度上是无维度限制的。我们提供了融合算法的简洁计算实现，并通过涉及混合模型和图像数据集的数值实验在低数据情况下验证其效率。
发现论文，激发创造
  • 基于分值的生成建模暗中最小化 Wasserstein 距离

    本文研究在适当的假设下，基于得分函数的生成模型可以最小化与真实数据分布之间的 Wasserstein 距离，同时说明此类模型的目标函数与生成分布和数据分布的 Kullback-Leibler 散度等价，并通过优化输运理论的新颖应用来证明我们的理论成果，同时通过数值实验进行支持，并提供了一些获得更紧密上限的技巧。

    Dec, 2022

  • 基于 KL 散度的模型融合

    本研究提出了一种方法来融合从异构数据集中学习到的后验分布。该算法基于均值场假设和简单的分配和平均方法，并通过正则化分配问题的变体来解决分配问题。对于指数族变分分布，我们的公式导致了一个有效的非参数算法来计算融合模型。该算法易于描述和实现，效率高，并在运动捕捉分析，主题建模和贝叶斯神经网络联合学习方面具有竞争力。

    Jul, 2020

  • 一种核得分的偏差 - 方差 - 协方差分解方法用于生成模型

    生成模型的不确定性估计及其提出的内核评分和相关熵的偏差 - 方差 - 协方差分解是一项有前景的研究工作。作者利用生成样本提出了无偏且一致的估计方法，证明了方差和预测内核熵可作为图像、音频和语言生成的不确定性度量。这种不确定性估计方法在问答数据集上显示出比现有基线更好的性能，并可应用于闭源模型。

    Oct, 2023

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 基于分数的扩散模型的最大似然训练

    本文提出基于分数的扩散模型的最大似然训练方法，其中采用一种特定的权重方案，目标函数上界拘束负对数似然函数，达到了与当前最先进的自回归模型同等水平的负对数似然性能，验证了该方法在多个数据集、随机过程和模型结构上的有效性。

    Jan, 2021

  • 扩散训练的样本高效性

    评分扩散模型是深度生成建模图像的最流行方法，其理论和实证性能表现出有效采样、$L^2$ 精确评分估计、样本复杂度和 Wasserstein 准确性。

    Nov, 2023

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 无监督神经组合优化的扩散模型框架

    通过引入一种可以上界反向 Kullback-Leibler 散度且避免要求确切样本似然的损失函数，本研究提出了一种能够解决在不依赖相应训练数据的情况下从难以处理的离散集合中进行采样的问题的方法，并展示了该方法在无数据组合优化中实现了最先进的性能。

    Jun, 2024

  • 通过 Wasserstein 重心镜头自动文本评估

    提出了基于 Wasserstein 距离和 barycenter 的新框架和指标 BaryScore 来衡量基于深度情境化嵌入（例如 BERT、Roberta、ELMo）的文本生成质量，通过建模深度情境化嵌入的层输出为概率分布或向量嵌入等多种形式，这一框架提供了一种自然的聚合不同输出的方法，并对度量提供了理论依据，针对机器翻译、数据到文本生成和图像字幕等领域进行了数值测评，结果表明 BaryScore 指标在特别是文本摘要方面优于其他基于 BERT 的指标并且表现更为一致。

    Aug, 2021

  • 扩散模型辅助监督学习用于密度估计的生成模型

    基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

    Oct, 2023