在语义空间中搜索程序化策略

May, 2024

Searching for Programmatic Policies in Semantic Spaces

Rubens O. Moraes, Levi H. S. Lelis

TL;DR在本文中，我们提出了一种使用语义空间进行程序策略综合的替代方法，通过学习一组具有不同代理行为的程序库来定义语义空间，并通过在当前候选程序中替换程序库中的程序来近似语义空间，实验证明在语义空间中搜索比在基于语法的空间中搜索更加高效。

Abstract

syntax-guided synthesis is commonly used to generate programs encoding policies. In this approach, the set of programs, that can be written in a domain-specific language defines the search space, and an algorithm searches within this space for programs that encode strong policies. In t

syntax-guided synthesis programmatic policies semantic spaces agent behaviors sample-efficient

发现论文，激发创造

基于语言条件的语义搜索导向的机器人操作任务策略

我们提出了一种基于语言条件的语义搜索方法，从可用的示范数据集中获取在线搜索策略，在 CALVIN 基准测试中超过了基线性能，并展现了强大的零样本适应能力，对于扩展基于在线搜索策略的任务具有巨大的潜力。

Dec, 2023

通过迭代局部搜索进行编程策略提取

通过结合模仿投影、数据集聚合和局部搜索启发式，我们提出了一种直接提取预训练神经策略的程序化策略的简单方法，该方法在编程问题和摆动问题上实现了可解释性和高效性。

Jan, 2022

使用语义模型进行学习和规划

本论文提出了一种基于深度强化学习的混合模型与无模型集成的方法 LEAPS，通过对含有内在语义规律但视觉多样性的人造环境的实验表明其比不考虑语义内容的强基线更有效。

Sep, 2018

利用语言学习程序抽象和搜索启发

该论文介绍了一种名为 LAPS 的技术，它使用自然语言注释来引导库和神经引导搜索模型的联合学习，以实现程序的归纳合成。与一些自然语言注释不可用的测试时间相比，LAPS 可生产高质量的程序库并提高搜索效率和泛化性。

Jun, 2021

面向模块化和可编程化的架构搜索

本文提出一种编码通用计算图上的搜索空间的正式语言，解决了目前基于深度学习架构搜索的特定应用和通用超参数优化系统之间的折衷问题。该语言的结构使我们能够编写模块化、可组合和可重用的搜索空间，并在不同搜索空间和优化算法的组合中自由实验，而不必从头实现每个组合。我们在文中公开了该语言的实现。

Sep, 2019

基于强化学习的语法引导综合

在这项研究中，我们将通用 SyGuS 问题作为树搜索框架，并提出了一种基于蒙特卡洛树搜索 (MCTS) 的增强学习引导合成算法。我们的算法结合了学习到的策略和值函数，以及平衡探索和利用的树上置信上界。我们还介绍了一种基于现有一阶可满足性问题的反合一方法自动生成 SyGuS 的训练数据。通过这些成果，我们的工具在训练和测试集中相比基准枚举算法提高了 26 个百分点，超过了 1 CVC5 等最先进工具的表现，同时我们还公开了我们的数据集以便于进一步应用机器学习方法解决 SyGuS 问题。

Jul, 2023

通过编程组合学习实现分层程序化强化学习

该研究提出了一种基于元策略的方法，使用预先生成的程序数据集来学习程序嵌入空间，并找到解决任务的程序。实验结果表明，该方法可在 Karel 领域产生复杂的行为，并超越现有的方法。

Jan, 2023

强制保持在弱监督语义解析中的一致性

本文主要探讨利用相关输入输出程序的一致性来减少错误原因正确答案的虚假程序对弱监督语义解析的影响，通过通过自然语言视觉推理数据集从而获得优秀的模型表现的。

Jul, 2021

通过元学习用语言指导政策

本文提出了一种交互式的任务规范问题形式，通过自然语言指令和一系列语言修正来引导自主代理获得新技能，实现快速获取新技能，显著优于直接非交互式指令跟随。

Nov, 2018

利用 K 均值算法高效搜索主动推理策略空间

本文提出了一种用向量空间嵌入法来进行政策选择的方法，并使用 k-means 聚类算法选择代表点，以在目标取向的图遍历问题中实现了更高效的政策选择。

Sep, 2022