Nov, 2018

神经预测信念表示

PDF
TL;DR本文探讨了使用现代神经网络结构学习信念表示的可能性，并使用一步帧预测和两个变体的对比预测编码作为目标函数来学习表示。我们发现，神经表示能够捕获到环境的信念信息，这有潜力在部分可观测领域中促进学习和规划的新进展。
unsupervised representation learningbelief stateneural architecturespredictive codingpartially observable domains
发现论文，激发创造
  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018

  • 针对 POMDP 的模仿学习中的信仰表征学习

    该研究使用生成对抗（GAN）深度神经网络引导非马尔可夫策略策略的置信度表示，在一定程度上解决了部分可观察马尔可夫决策过程（POMDP）中的模仿学习问题。

    Jun, 2019

  • 隐空间中的基于模型的规划的时间预测编码

    本文使用时间预测编码等方法，构建了一种信息论方法的强化学习模型，可帮助解决高维度观测值与复杂背景的问题。

    Jun, 2021

  • 利用预测状态表示关闭学习和规划循环

    本文提出并演示了一种精确学习环境模型的新算法，该算法从行动 - 观测对的序列中直接学习此类环境的模型，并通过在学习的模型中进行规划并恢复一个接近原始环境的最优策略实现从观测到行动的闭环。

    Dec, 2009

  • 预测编码网络中的推理和学习的理论框架

    本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

    Jul, 2022

  • 滤波感知模型预测控制

    本文采用滤波器感知的模型预测控制方法，既考虑了不确定性的影响，又可以通过建立一个包含感知能力的模型来显著提高控制性能。

    Apr, 2023

  • 未来预测能成为部分可观察环境中良好历史表达的有力证据

    在部分可观察环境中，学习历史表征是强化学习的核心挑战之一。本文通过未来预测的方式探究了历史表征学习的有效性，并证明了强化学习的性能与未来观察的预测准确性密切相关。同时，该方法可以阻止高方差嘈杂信号对表征学习的影响，显著改善整体端到端方法。通过在需要处理长时间历史的三类基准测试中验证了我们的观点。

    Feb, 2024

  • 深度预测编码网络用于视频预测和无监督学习

    通过建立一个具有预测编码特点的预测神经网络 (PredNet)，本文探讨了将预测未来的视频帧作为无监督学习的规则来学习视觉世界结构的问题。 在对计算机生成的物体的运动进行鲁棒的学习的同时，也能够缩短学习视野并从中获得内部表示。此外，这种网络架构也能够将检测到的流和视觉场景中的物体运动进行深度学习，为估算自我位置提供支持。 综上所述，预测是无监督学习的强大框架之一，能够进行隐式的物体和场景结构学习。

    May, 2016

  • 主动预测编码：一种用于学习层次化世界模型以进行感知和规划的统一神经框架

    提出了一种新的预测编码框架，称为主动预测编码，利用超网络、自监督学习和强化学习来学习层次化的世界模型，并成功解决了细分视觉和复杂动作序列组合等多个问题。

    Oct, 2022

  • 利用对比性预编码实现高效数据图像识别

    通过对自然信号变异性更可预测的表征重新审视并改进对比性预测编码的无监督目标，可以实现数据高效的图像识别，其特征支持 ImageNet 数据集上最先进的线性分类准确性，同时可在非线性分类中使用 2-5 倍的标签，最终，这种无监督表征大大改善了 PASCAL VOC 数据集的对象检测的迁移学习。

    May, 2019