量子模仿学习

Apr, 2023

Quantum Imitation Learning

Zhihao Cheng, Kaining Zhang, Li Shen, Dacheng Tao

TL;DR本文提出了量子模仿学习（QIL）概念及其实现方法，采用 Variational Quantum Circuits（VQCs）替代 Deep Neural Networks（DNNs）以提高表达能力，并利用 Quantum Advantage 加速模型训练，在 offline 和 online 两种情形下分别采取 Quantum Behavioural Cloning （Q-BC）和 Quantum Generative Adversarial Imitation Learning （Q-GAIL）两种算法进行训练，并在实验中验证了其与经典算法相当的性能。此研究有望开创量子时代人工智能的先河。

Abstract

Despite remarkable successes in solving various complex decision-making tasks, training an imitation learning (IL) algorithm with deep neural networks (DNNs) suffers from the high computation burden. In this work, we propose →

quantum imitation learning variational quantum circuits deep neural networks negative log-likelihood loss inverse reinforcement learning

发现论文，激发创造

IQ-Learn: 逆软 Q 学习用于模仿

介绍了一种动态感知的逆强化学习方法 ——IQ-Learn，它通过学习单个 Q 函数来避免对抗性训练，并可在标准测试中取得最好的结果，比现有方法在所需的环境交互数量和高维空间可扩展性方面表现优异。

Jun, 2021

SQIL: 通过稀疏奖励加强学习实现的模仿学习

提出了一种称作 “软 Q 模仿学习” 的新方法，该方法使用强化学习，但不需要学习奖励函数，而是通过鼓励智能体在遇到不在分布中的状态时返回演示状态来激励智能体进行长视野模仿。在图像和低维度任务方面表现优于基于行为克隆和生成对抗模仿学习（GAIL）的方法，可用于标准 Q 学习或离线策略演员 - 评论家算法。

May, 2019

Gym 中的量子代理：一种深度 Q-learning 的变分量子算法

本文介绍了一种用于解决离散和连续状态空间的 RL 任务的训练方法，该方法基于深度 Q-learning 算法。研究通过消融研究探究了量子 Q-learning 算法的体系结构选择对于成功解决某些环境的重要性，并提出了用于选择适当的观测量的方法，以比较量子和经典 DQN 算法的性能.

Mar, 2021

外部奖励的软 Q 模仿学习和判别器

利用鉴别器的软 Q 模仿学习算法（DSQIL）结合通过对抗逆强化学习的奖励函数，对小规模样本数据进行高效、鲁棒的模仿学习与训练。

Jan, 2024

量子计算中强化学习的挑战

该研究论文介绍了量子计算在当前 NISQ 时代的限制，并提出了通过混合量子机器学习来改善量子计算架构的方法，重点是利用强化学习来优化当前的量子计算方法，并介绍了由量子架构搜索和量子电路优化引起的各种挑战，以及提出的用于学习控制一组万能量子门的具体框架，并提供基准结果以评估当前最先进算法的优点和短处。

Dec, 2023

量子强化学习的异步训练

本文提出了一种采用异步训练 QRL 代理的方法，具体选择了优势演员评论家变分量子策略的异步训练，并通过数值模拟证明，相对于采用相似模型大小和架构的经典代理，采用异步训练 QRL 代理在考虑的任务中可以达到相似或更高的性能

Jan, 2023

生成对抗模仿学习的计算与泛化

本文探讨基于生成式对抗性模型的模仿学习算法（Generative Adversarial Imitation Learning，GAIL）的理论性质，证明了对于一般的回报参数化形式，只要正确控制奖励函数的类别，就可以保证泛化效果，并且利用再生核函数对奖励进行参数化可以使用随机一阶优化算法高效解决，并具有次线性收敛性，这是关于奖励 / 策略函数逼近的统计和计算保证的第一篇研究。

Jan, 2020

混合量子神经网络的深度强化学习

本研究旨在探究基于门型量子计算机的参数量子电路，通过集成最新的 Qiskit 和 PyTorch 框架，与纯经典深度神经网络进行比较，评估其在模型非自由强化学习问题中的潜力，以及在解决迷宫问题或其他强化学习问题方面、深度量子学习的前景。

Apr, 2023

用于深度强化学习的变分量子电路

本文研究了变分量子电路在深度强化学习中的应用，利用量子信息编码方案减少模型参数，用经验回放和目标网络重塑经典深度强化学习算法，成功证明了变分量子电路可以用于决策制定和政策选择强化学习，适用于许多即将到来的近期量子计算机。

Jun, 2019

基于 VQC 的数据重上传强化学习：性能和可训练性

基于经验证据，本研究使用变分量子电路 (VQC) 作为函数逼近器构建了深度 Q - 学习模型，研究了该模型在经典控制基准环境中的性能和可训练性，探讨了数据重新上传对这些指标的影响，并发现 VQC 在这种环境中具有适用性，且在逼近 2 设计时，增加量子比特数不会导致梯度的幅度和方差指数级递减。

Jan, 2024