深度强化学习的抽象化
该研究提出了一个神经和符号端到端强化学习架构,能够克服当前深度学习技术的局限性,如需要非常大的数据集工作、难以实现高级认知功能和透明性欠佳等。研究者以简单的视频游戏为例,展示了这个架构的实现原型,结果表明它能够有效地学习,并通过获得一组符号规则,可将性能提高到比传统完全神经强化学习系统更好的水平。
Sep, 2016
本文综述了人类学习、推理和适应新领域的关键能力 —— 概念抽象和类比制定,以及通过符号方法、深度学习和概率编程归纳等多种途径构建具有这些能力的 AI 系统的优势和局限性,最后提出了设计挑战任务和评估指标的几点建议,以在此领域取得量化和可推广的进展。
Feb, 2021
本文介绍了一种新的从上至下的方法,用于在执行强化学习的同时构建状态抽象,动态计算一个基于 Q 值分散的抽象,结果表明,这种方法自动学习细调问题的抽象,具有较强的样本效率,并使强化学习代理明显优于现有方法。
Oct, 2022
本文提出一种新的方法,通过共享基于低维学习的环境编码来明确地连接无模型和有模型的强化学习方法,该方法能够捕捉到总结性抽象,同时具有模块化的特点,因此具有良好的泛化能力和计算效率,并在较小的潜在状态空间中进行计划。此外,此方法还能恢复足够低维的环境表示,从而为可解释的人工智能、探索和迁移学习开辟了新的策略。
Sep, 2018
人工智能研究半个世纪以来一直试图复制人类的抽象和推理能力,创造出可以从一小组示例中学习新概念的计算机系统,在人类轻松掌握的情境下进行。然而,尽管特定神经网络能够解决一系列问题,但对于训练数据之外的广泛泛化,仍然是个难题。本文提出了几种新颖的解决方法,用于解决抽象与推理语料库 (ARC) 的问题。尽管竞赛的最佳算法仍然无法解决大多数 ARC 任务,并且依赖于复杂的手工规则,而不使用机器学习。我们重新审视了神经网络领域的最新进展是否能够在这个任务上取得进展,并提出了适应 ARC 的 DreamCoder 神经符号推理求解器。DreamCoder 自动编写特定领域的语言程序进行推理,并使用神经网络模拟人类直觉。我们提出了感知抽象与推理语言 (PeARL) 语言,使 DreamCoder 能够解决 ARC 任务,并提出了一种新的识别模型,显著改进了之前的最佳实现。我们还提出了一种新的编码和增强方案,使大语言模型 (LLMs) 能够解决 ARC 任务,并发现最大的模型可以解决一些 ARC 任务。LLMs 能够解决一组不同于现有解算器的问题,并为其他方法提供了一种有趣的补充方式。我们进行了集成分析,将模型结合起来以取得比任何单独系统更好的结果。最后,我们发布了 arckit Python 库,使未来对 ARC 的研究更加容易。
Feb, 2024
本文调查研究 Deep Reinforcement Learning (DRL) 中关于任务和领域适应以及泛化的最新发展,讨论未来如何增强算法的适应性和泛化能力,以解决更广泛的实际问题。
Feb, 2022
该研究通过关注数据的选择和呈现方式,研究神经网络在感知和推理原始视觉数据时如何诱导类比推理能力,并发现最健壮的类比推理能力是通过在输入域中对抽象关系结构进行对比学习而诱导的。
Jan, 2019
本文介绍了一种新的强化学习方法,利用关系抽象和深度学习,学习符号状态空间中可推广的 Q 函数,并能在零阶转移下转移到不同的相关问题,实现对大规模问题的有效知识迁移。
Apr, 2022