ICLRMar, 2023

Wasserstein 自编码 MDPs：高效提纯 RL 策略的形式验证与多面保证

PDF
TL;DR介绍了一种利用 Wasserstein 自编码马尔可夫决策过程（WAE-MDP）实现深度强化学习在安全关键场景下部署策略的新方法，该方法能快速地精简策略。实验结果表明，该方法提高了潜在模型的质量，具有实际应用价值。
deep reinforcement learningsafety-critical scenariosvae-mdpswasserstein auto-encoded mdplatent model quality
发现论文，激发创造
  • 通过 MDP 的变分抽象以形式化保证实现 RL 策略的蒸馏（技术报告）

    在强化学习中，为了解决政策简化和验证的挑战，作者们构建了 DeepMDP 框架，基于该框架可以得到未知环境和离散潜在模型之间的新的双模拟边界，该边界可以为 MDP 的形式方法应用提供支持。同时，作者们还演示了如何通过最先进的 RL 获得一个政策，并使用该政策有效地训练一个 VAE 模型，获得这个模型的双模拟保证的近似正确性的提炼版。

    Dec, 2021

  • 对抗性正则化自编码器

    本文提出了一种基于 Wasserstein 自动编码器（WAE）的灵活方法，用于训练离散结构的深度潜变量模型，该方法扩展了 WAE 框架以对离散序列进行建模，并进一步探索了不同的先验知识以获得可控表示，最后展示了 WAE 中的潜变量可以进行文本风格转换。

    Jun, 2017

  • Wasserstein 自编码器

    本文提出了 Wasserstein 自编码器（WAE）算法，通过最小化 Wasserstein 距离来构建数据分布的生成模型，并与其他技术进行比较，表明其是对抗自编码器（AAE）的推广，可用于生成更高质量的样本。

    Nov, 2017

  • DialogWAE: 条件 Wasserstein 自编码器的多模态响应生成

    提出了 DialogWAE，这是一种特殊设计的条件 WAE，用于对话建模，能够通过在潜变量空间内训练 GAN 来模拟数据的分布，并进一步发展了高斯混合先验网络，能够产生具有更连贯、更丰富和更多样化响应的结果。

    May, 2018

  • 基于随机 Wasserstein 自编码器的概率句子生成

    本文介绍 Wasserstein 自编码器 (WAE) 的应用，用于概率句子生成，并与其他概率模型进行比较。研究表明，在 stochastic encoding 由固定分布制备时，该分布往往趋向于变成 Dirac delta function，于是提出了一种改进型 WAE 以鼓励编码的随机性，实验表明，该模型在保持与 VAE 相似的连续性和平滑性的同时，能更好的还原句子。

    Jun, 2018

  • 基于 Wasserstein 自编码器的低维本质数据的统计分析

    研究论文通过适当选择网络结构，展示了 WAEs 能够学习数据分布，并且其收敛速度与特征维度无关，只依赖于数据分布的内在维度。

    Feb, 2024

  • 用 Wasserstein 自编码器进行并发密度估计：一些统计学见解

    通过神经网络引发的转换，我们从统计的角度提出了对 WAEs 机制的理论理解，并在存在敌对情况下分析了这些随机误差的传播，探索了重建分布的大样本特性和 WAE 模型的弹性。

    Dec, 2023

  • Gromov-Wasserstein 自编码器

    本文提出了一种新的表征学习方法，Gromov-Wasserstein Autoencoders（GWAE），通过将 variational autoencoding scheme 与 Gromov-Wasserstein metric 相结合来直接匹配潜变量和数据分布，以实现在不改变其目标的情况下将 meta-priors 引入潜空间。

    Sep, 2022

  • 深度 MDP：学习连续潜空间模型以进行表征学习

    介绍了一种参数化潜变量空间模型 DeepMDP，通过学习奖励和下一个潜变量状态的预测来训练模型，以提高强化学习中连续状态的表示效果，并证明其在 Atari 2600 游戏中可以明显提高模型性能。

    Jun, 2019

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019