XLand-100B：大规模多任务数据集用于背景强化学习

Jun, 2024

XLand-100B：大规模多任务数据集用于背景强化学习

XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning

Alexander Nikulin, Ilya Zisman, Alexey Zemtsov, Viacheslav Sinii, Vladislav Kurenkov...

TL;DR通过构建 XLand-100B 数据集，该研究致力于解决在大规模环境中进行上下文强化学习时所面临的挑战，为进一步扩展和民主化该领域的研究提供坚实的基础。

Abstract

Following the success of the in-context learning paradigm in large-scale language and computer vision models, the recently emerging field of in-context reinforcement learning is experiencing a rapid growth. However, its development has been held back by the lack of challenging benchmarks, as all the experiments have been carried out in simple environments an

in-context reinforcement learning xland-100b large-scale dataset learning histories scaling

发现论文，激发创造

XLand-MiniGrid：基于 JAX 的可扩展元强化学习环境

我们提出了 XLand-MiniGrid，这是一个基于 XLand 的多样性和深度以及 MiniGrid 的简洁和极简主义所启发的元强化学习研究工具和网格世界环境套件。

Dec, 2023

XL$^2$Bench：极长上下文理解与长距离依赖的基准测试

我们介绍了一个长文本理解的基准测试 XL2Bench，其中包含三个场景：小说阅读、论文阅读和法律阅读，以及四个难度递增的任务：记忆检索、细节理解、整体理解和开放式生成，涵盖了 27 个子任务，用英文和中文表示，平均长度为 100K + 词（英文）和 200K + 字符（中文）。我们评估了六个领先的大型语言模型在 XL2Bench 上的表现，发现它们的性能明显落后于人类水平。此外，我们观察到在原始数据集和增强数据集上的性能下降，凸显了我们缓解数据污染的方法的有效性。

Apr, 2024

MineRL: 一个大规模的《Minecraft》演示数据集

本研究介绍了一个全面、大规模、与模拟器配对并包含人类示范的数据集 MineRL，该数据集涵盖了 Minecraft 中多个相关任务，其中有超过 6000 万个由自动注释的状态动作对，证明了该数据集的层次性、多样性和规模。该数据集有助于开展解决 Minecraft 研究挑战的技术研究。

Jul, 2019

Atari 大挑战数据集

本文提出了一种减少数据使用量的方法，即利用人类示范数据对强化学习模型进行训练，在此基础上，作者基于 Atari 2600 回放数据集，发现示范数据的质量和模型的模仿学习性能之间有着密切关联，为进一步拓展该方法提供了研究方向。

May, 2017

CARL：一种用于上下文和适应性强化学习的基准测试

CARL 是一个基于理论框架的 RL 基准环境集合，包含了多个经典控制，物理模拟，游戏和实际应用领域任务，该研究证明了在考虑上下文时，从策略学习中分离状态的表征学习可以更好地实现泛化。

Oct, 2021

视觉与语言导航中的数据生成扩展

通过构建大规模数据集，研究了语言引导的视觉导航中各个组成部分对代理性能的影响，并通过简单模仿学习将现有代理的性能推向了一个显著的新高度，成功率达到了 80％，并将在已见和未见环境中导航的泛化差距降低到不到 1％。

Jul, 2023

LAION-5B: 用于训练下一代图像 - 文本模型的大规模开放数据集

LAION-5B 是一个包含了 58.5 亿组图像 - 文本对的数据集，许多基础的模型如 CLIP、GLIDE 和 Stable Diffusion 成功地使用了该数据集进行复现和微调，这个数据集的开放也将推动更多基于大规模多模型的研究。

Oct, 2022

LongBench: 一个用于长篇上下文理解的双语多任务基准

通过引入 LongBench，对 8 个大型语言模型进行全面评估，我们发现商业模型（GPT-3.5-Turbo-16k）优于其他开源模型，但在更长的语境下仍存在困难；在较长序列上进行的缩放位置嵌入和微调，在长语境理解方面带来了实质性的改进；检索等上下文压缩技术对于长上下文能力较弱的模型带来了改进，但性能仍落后于具有强大长上下文理解能力的模型。

Aug, 2023

开放式任务空间中的人类时间尺度适应

本文介绍了一种训练 RL 代理器的方法，通过使用 meta-reinforcement 学习、基于注意力的内存结构和有效的自动课程表，该代理器可以快速适应开放式的 3D 问题，并具有自适应性。

Jan, 2023

D4RL：深度数据驱动强化学习数据集

本研究为解决离线情境下强化学习（RL）的挑战，特意设计离线 RL 的基准测试任务，指导现实世界中数据集集合的设计与收集，并在开源代码上进行了综合评估，以便研究人员能够进一步完善现有算法及在这一新兴领域展开合作与探索。

Apr, 2020