离线策略学习的深度生成模型：教程、调查和未来方向的展望

Feb, 2024

离线策略学习的深度生成模型：教程、调查和未来方向的展望

Deep Generative Models for Offline Policy Learning: Tutorial, Survey, and Perspectives on Future Directions

Jiayu Chen, Bhargav Ganguly, Yang Xu, Yongsheng Mei, Tian Lan...

TL;DR深度生成模型在离线策略学习中的应用的系统综述，涵盖了变分自编码器、生成对抗网络、Transformer 等主要深度生成模型以及它们在离线强化学习和模仿学习中的应用，提供了对相关研究领域进展的实用参考，并致力于启发改进基于深度生成模型的离线强化学习和模仿学习算法。

Abstract

deep generative models (DGMs) have demonstrated great success across various domains, particularly in generating texts, images, and videos using models trained from offline data. Similarly, data-driven decision-making and robotic control also necessitate learning a generator function f

deep generative models offline policy learning variational auto-encoders generative adversarial networks transformers

发现论文，激发创造

深度生成建模简介

该研究论文介绍了深度生成模型的数学框架及其最流行的三种方法：正态化流、变分自编码器和生成对抗网络。此外，该论文还探讨了这些基本方法的优缺点。

Mar, 2021

DiffPoGAN：离线强化学习中基于生成对抗网络的扩散策略

离线强化学习方法 DiffPoGAN 通过离线数据集学习最优策略，利用生成对抗网络生成多样的动作分布，使用最大似然估计方法生成近似行为策略分布的数据，并引入基于鉴别器输出的额外正则化项来有效约束策略探索，实验证明在离线强化学习领域超过了其他方法。

Jun, 2024

决策和控制的深度生成模型

本论文旨在研究深度模型强化学习方法的实证不足，并提出解决方案，同时探讨现代生成建模工具箱中推理技术（包括波束搜索、分类器导向抽样和图像修复等）在强化学习问题中的有效规划策略。

Jun, 2023

双生成器离线强化学习

本文介绍了一种名为 DASCO 的新方法，用于解决离线强化学习 (GAN) 中存在的矛盾目标问题，该方法采用了双生成器，其中一个最大化回报，另一个捕捉不属于行为策略的数据分布的 “剩余部分”，这两者的混合物接近于行为策略，并近似支持约束，通过在子优数据上进行基准测试，表明 DASCO 明显优于之前的方法，实现了分布约束。

Nov, 2022

深度生成模型及其在高效的无线网络管理中的应用：教程与案例研究

本文讨论深度生成模型在无线网络管理中的应用，探讨了传统网络管理方法的问题，提出了一种 DGM 增强的框架，并对网络经济进行了案例研究。

Mar, 2023

鉴别器指导的基于模型的离线模仿学习

该论文提出了一种基于鉴别器指导的模型辅助离线仿真学习框架，该框架采用协作对抗学习策略，能够显著提高在小数据集下的性能和鲁棒性。

Jul, 2022

条件生成建模是否足以支持决策制定？

本文探讨了利用条件生成模型解决顺序决策问题的可能性，并提出了一种新的 return-conditional diffusion 模型的策略模型，使得模型训练不再需要动态规划算法，成功在一些标准测试上优于现有离线强化学习算法，证明条件生成建模是一种强大的决策制定工具。

Nov, 2022

基于扩散的离线强化学习中的长时程回滚动态模型

探索如何将扩散模型（DMs）的能力作为动力学模型在完全离线环境中解耦，以允许学习策略展开轨迹，并展示了 DyDiff 在离线强化学习中的有效性。

May, 2024

O3D：用于大型语言模型的离线数据驱动发现与蒸馏的顺序决策制定

我们提出了一种离线学习框架，利用大规模的离线数据（如人类互动日志）来改善大型语言模型的在上下文学习性能。我们通过文本和代码的方法形式化定义了基于大型语言模型的策略，并引入了一种离线数据驱动的发现和精炼框架（O3D），以改善大型语言模型的决策能力。在两个交互式决策基准测试中的实证结果表明，O3D 可以通过离线发现和精炼过程显著提升大型语言模型的决策能力，并在基于文本和代码的策略下持续优于基准模型。

Oct, 2023

通过深度生成技术重构零售供应链：分类、调查和洞见

通过对现有的深度生成模型及其变体的分类和概述、对零售供应链中现有的深度生成模型应用的全面回顾以及对如何进一步利用深度生成模型解决零售供应链问题的见解和潜在方向的讨论，本论文旨在回答一个关键性问题：如何将深度生成模型应用于现代零售供应链领域。

Feb, 2024