Oct, 2019

FIS-GAN：基于流式重要性采样的 GAN

PDF
TL;DR本文探讨了在生成式对抗网络训练中使用重要性采样方法进行优化的可能性。通过使用重要性采样来替代在潜空间使用均匀分布或高斯分布采样的方法，并利用正则化流来近似潜空间后验分布进行密度估计，结合 MNIST 和 Fashion-MNIST 的实验表明该方法有效提高了生成样本的优化速度且保持了视觉上的保真度。
generative adversarial networksimportance samplinglatent spacedensity estimationoptimization
发现论文，激发创造
  • 并非所有样本都是相等的：使用重要性采样的深度学习

    本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

    Mar, 2018

  • 使用单向流进行对抗性似然估计

    生成对抗网络（GANs）可以生成高质量的样本，但不能提供样本周围的概率密度估计。本文通过最大化 log-likelihood 来建议改进分区函数的无偏估计方法，同时最大化生成器熵以提供更好的模式覆盖，利用一种新型的流网络 —— 单向流网络来计算生成样本的密度，从而设计出分区函数的无偏估计方法，并在实验中验证了该方法的快速收敛性、与相似结构 GANs 相当的样本质量、成功避免过度拟合常见数据集以及产生平滑的低维潜在数据表示。

    Jul, 2023

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019

  • 自适应采样与重要性采样的高效梯度估计

    通过提出的自适应方法和重要性采样方法，在机器学习框架中有效地整合了重要性函数，并仅通过输出层的损失梯度提出了一个简化的重要性函数，以实现在分类和回归任务中更好的收敛性和最小的计算开销。

    Nov, 2023

  • GAN 的实例选择

    本文提出了一种改进样本质量的新方法：在模型训练之前通过实例选择来改善经验数据分布，将模型容量重定向到高密度区域，从而提高样本保真度，降低模型容量要求和显著减少训练时间。

    Jul, 2020

  • 分布式重要性采样在 SGD 中的方差减少

    该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

    Nov, 2015

  • Flow-GAN：在生成模型中结合最大似然和对抗学习

    通过混合训练方式，利用生成对抗网络以及精确似然估计评估方法，解决了最大似然训练无法评估生成质量的问题。

    May, 2017

  • GANs 解决分数！

    本文提出了一种基于变分分析的生成对抗网络（GAN）的统一方法，讨论了在 $f$-divergence-minimizing GANs 和 IPM GANs 中的最优生成器，展示了基于分数匹配和流匹配的训练方法，以及判别器引导 Langevin 采样方法。

    Jun, 2023

  • 反演生成对抗网络的生成器

    通过先前训练好的 GAN 模型，将图像投影到潜在空间中以获取表示，我们可以在 MNIST 任务和 Omniglot 任务中成功地保留数字和字符的信息，这种方法可以应用于一次性学习。

    Nov, 2016

  • 流退火重要性采样自助法

    该研究提出 Flow AIS Bootstrap (FAB) 方法，采用退火重要性采样 (AIS) 和最小化质量覆盖 α 散度，使用的 α=2，从而避免了当前训练流方法的主要问题。使用 FAB 将多模态目标应用于学习甘氨二肽分子的玻尔兹曼分布，证明了该方法比使用 MD 样本通过最大似然训练效果更好，在使用 100 倍少的目标评估下，可以获得与真实数据几乎相同的无偏直方图。

    Aug, 2022