自进化自编码嵌入 Q 网络

Feb, 2024

Self-evolving Autoencoder Embedded Q-Network

J. Senthilnath, Bangjian Zhou, Zhen Wei Ng, Deeksha Aggarwal, Rajdeep Dutta...

TL;DR在连续决策任务的领域中，强化学习代理的探索能力对于通过与环境的交互获得高回报至关重要。为增强这一关键能力，我们提出了 SAQN，一种新颖的方法，其中包含了一个自进化自编码器（SA）和一个 Q 网络（QN）。在 SAQN 中，随着代理对环境的探索，自进化自编码器架构会自适应和进化。这种进化使得自编码器能够在潜在空间中有效捕捉各种原始观测，并对其进行有效表示。通过利用从编码器生成的潜在空间中提取的解缠态，QN 被训练以确定改善回报的最优动作。在自编码器架构的进化过程中，采用了一种偏差 - 方差调节策略，以使强化学习代理产生最佳响应。该策略包括两个关键组成部分：（i）促进节点的增长以保留先前获得的知识，确保对环境的丰富表示，以及（ii）修剪贡献最小的节点，以保持更可管理和可跟踪的潜在空间。在三个不同的基准环境和一个真实的分子环境上进行了广泛的实验评估，结果显示了所提出的 SAQN 在性能上明显优于现有技术。这些结果突显了自进化自编码器及其与 Q 网络合作在处理连续决策任务中的有效性。

Abstract

In the realm of sequential decision-making tasks, the exploration capability of a reinforcement learning (RL) agent is paramount for achieving high rewards through interactions with the environment. To enhance th

sequential decision-making reinforcement learning self-evolving autoencoder q-network optimization

发现论文，激发创造

使用深度 Q-Learning 和变分自编码器进行可解释选项发现

Deep Reinforcement Learning 领域中基于选择框架的 DVQN 算法提出了一种基于高斯分布的潜在空间来定义选择并通过传统的 Q-Learning 更新来找到良好策略的方法，通过实验证明其可替代 Rainbow 算法在自动识别选择的开始和结束条件方面表现可能更好。

Oct, 2022

用深度 Transformer Q 网络进行部分可观察强化学习

本文提出了一种基于 Transformer 和自注意力机制的全新架构 Deep Transformer Q-Networks（DTQN），可用于处理强化学习中的局部可见性、记忆和训练困难等问题，实验结果表明该模型相较于传统的循环神经网络方式在处理局部可视化任务时更加快速和稳定。

Jun, 2022

自我激发的神经元群体用于连续强化学习

使用自激活神经模块及模块化结构，本文提出了一种基于视觉强化学习环境的无先验任务边界设定的持续学习方法，以避免忘却与利用旧有的技能，并在生成环境中进行了相关实验。

Dec, 2022

使用强化学习设计神经网络结构

使用元建模算法 MetaQNN 根据强化学习自动生成高性能卷积神经网络 (CNN) 结构，可以在图像分类基准测试中击败同层级别的现有网络，并且相比其他网络设计元建模方法具有更好的效果.

Nov, 2016

脉冲 Q 学习的深度强化学习

本研究提出了一种名为 DSQN 的深度尖峰 Q 网络，使用非尖峰神经元的膜电压作为 Q 值的表示，可以从高维度的感官输入中直接学习稳健的决策，并在 17 个 Atari 游戏中表现出优异的性能，具有更好的学习稳定性和对抗攻击鲁棒性。

Jan, 2022

深度强化学习生成文本

提出了一种基于深度强化学习（Deep Q-Network, DQN）的序列到序列学习中，通过迭代的方式对输出序列进行解码的新型模式，旨在使解码器优先处理较为容易的序列部分，然后再处理较为困难的部分。

Oct, 2015

自编码增强的神经进化在视觉 Doom 游戏中的应用

通过训练自编码器来创造低维度的环境表征，并使用 CMA-ES 来训练神经网络控制器，从而解决神经进化在高维度控制器表示上的缩放问题，在基于 FPS Doom 的 VizDoom 环境中进行健康包采集任务，性能良好。

Jul, 2017

深度 Q 网络的更好可解释性

本文提出了一种可解释的神经网络架构，用于 Q-learning，在全局层面上使用键值记忆、注意力和可重构嵌入，提供模型行为的全局解释。使用有向探索策略，该模型可以达到与最先进的深度 Q-learning 模型相当的训练奖励，但结果表明该神经网络提取的特征非常浅，并且使用样本外的示例进行后续测试表明代理可以轻松地过拟合训练期间看到的轨迹。

Sep, 2018

FDQN：一种用于游戏自动化的灵活深度 Q 网络框架

在这项研究中，提出了一种最新的灵活深度 Q 网络 (FDQN) 框架，能够通过自适应方法在动态环境中处理高维度感知数据，实时进行决策，并动态调整模型结构以适应不同游戏环境的行动空间，相对于基准模型，在各种 Atari 游戏和 Chrome Dino 游戏中取得优异表现。该框架采用 epsilon-greedy 策略有效平衡新的学习和探索，其模块化结构可以轻松应用于其他基于 HTML 的游戏，同时提到了该框架在实验室条件下成功解决了一个明确定义的任务，并探讨了其在更具挑战的真实世界情境和自动化游戏玩法等领域的潜在应用。

May, 2024

向量量化图自编码器

本文提出了一种基于图神经网络的离散自编码器，Vector-Quantized Graph Auto-Encoder (VQ-GAE)，用于模拟图的分布，通过利用图神经网络的等变性、局部结构和全局结构，以离散向量化的方式将图对象映射到潜在空间中捕捉整体结构，并在图形生成方面显示出优秀的性能。

Jun, 2023