Jul, 2018

变分选项发现算法

PDF
TL;DR本文探讨了基于变分推断的选项发现方法，提出了一种新的基于变分自编码器的 VALOR 方法，并使用课程学习的技巧增加了 agent 能够学习的多种行为模式，通过研究方法的限制以及从学习选项到下游任务的应用等主题来探讨相关领域。
variational inferenceautoencodersreinforcement learningcurriculum learningbehavioral modes
发现论文，激发创造
  • 使用深度 Q-Learning 和变分自编码器进行可解释选项发现

    Deep Reinforcement Learning 领域中基于选择框架的 DVQN 算法提出了一种基于高斯分布的潜在空间来定义选择并通过传统的 Q-Learning 更新来找到良好策略的方法，通过实验证明其可替代 Rainbow 算法在自动识别选择的开始和结束条件方面表现可能更好。

    Oct, 2022

  • 变分内在控制

    本文介绍一种新的无监督强化学习方法，旨在通过最大化智能体可靠到达的不同状态的数量来发现可用的本质选项集，并提供隐式和显式的选项表示，提供在特定状态下使用的授权最大化代理所需的显式的授权度量。

    Nov, 2016

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • 变分课程增强学习用于无监督技能发现

    基于互信息的强化学习作为一种无需任务导向奖励函数的复杂技能自主检索方法已被提出，但由于训练技能的顺序会在很大程度上影响样本效率，对于学习复杂技能仍具有挑战性。本文提出了一种名为变分课程强化学习（VCRL）的方法，将变分增强视为内在奖励函数的目标条件强化学习中的课程学习，并基于信息理论提出了一种无监督技能发现的新方法，称为值不确定性变分课程（VUVC）。我们证明，在一定的正则条件下，与均匀课程相比，VUVC 能够加快访问状态熵的增加。我们通过复杂导航和机器人操作任务验证了我们方法的有效性，同时以零次设定下的真实世界机器人导航任务为例，证明了通过我们方法发现的技能能够成功完成任务，并且将这些技能与全局规划器相结合可以进一步提高性能。

    Oct, 2023

  • 基于深度后继表示的特征值选项发现

    本研究论文以最近提出的使用表征学习方法指导 option 发现过程的想法为重点，扩展了现有算法以适应具有随机转换且不存在人工特征的环境，并提出了一种算法，用于从原始图像中学习非线性状态表示，从而发现 eigenoptions，从传统表格模型和 Atari 2600 游戏中的实验结果表明，该算法具有潜力。

    Oct, 2017

  • POMDP 的深层变分强化学习

    本文提出了一种深度变分强化学习方法，该方法引入了归纳偏置，允许代理学习环境的生成模型并在该模型中执行推断以有效地聚合可用信息。通过在 Mountain Hike 和 flickering Atari 的实验中表明，我们的方法优于先前依赖于循环神经网络对过去进行编码的方法。

    Jun, 2018

  • 协同过滤的变分自编码器

    本研究提出一种基于 VAE 的非线性概率模型，用于解决协作过滤问题，相对于现有的线性因子模型，具有更强的建模能力，并使用贝叶斯推断进行参数估计来得到更好的泛化性能。本方法在现有多个数据集上均取得了显著优异的性能表现，并对使用多项式分布作为似然函数进行了比较实验，分析了使用贝叶斯方法的优缺点及适用场景。

    Feb, 2018

  • 利用变分自动编码器学习困难量子分布

    研究如何应用机器学习技术中的一种生成模型 —— 变分自编码器来高效表示和编码一类难以对其进行采样的量子状态，该方法可以有效地对量子硬件中预期的大规模量子态进行描述和初步表征。

    Oct, 2017

  • 非对称变分自编码器

    提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

    Nov, 2017

  • 通过变分自编码器实现潜在动作空间，用于对话策略优化的 LAVA

    本文探索使用辅助任务来塑造潜变量分布的三种方式，并选择响应自编码为辅助任务，以获得更具行动性质的潜变量表示，从而支持端到端对话策略优化，并实现最先进的成功率。

    Nov, 2020