组合式指令跟随的模块化网络
提出了一种使用语义地图和语义搜索策略实现自然语言目标的模块化方法,不需要使用专家轨迹和低级语言指令,并使用少量数据取得了 SOTA 性能。同时,该研究表明,显式的空间记忆和语义搜索策略可以为状态跟踪和引导提供更强大和更通用的表示方式,即使没有专家轨迹或低级指令。
Oct, 2021
本文介绍了一种基于组合神经模块网络和分层框架的图像字幕方案,探索了自然语言的组成和顺序性,选择性地关注输入图像中每个检测到的对象的不同模块,以包括计数和颜色等特定描述,提出模型优于现有模型,结果表明我们的组成模块网络能够有效地生成准确和详细的图像字幕。
Jul, 2020
本研究提出一种基于对齐的模型,通过在文本和环境观测的情况下,对行动序列进行评分以实现指令的跟随,模型将语音意义和实际需求结合起来,并在多项基准测试中优于强任务特定的基线,取得了几项最新的业绩。
Aug, 2015
通过渐进式的模块化增长,研究表明,模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性,即使只有模块之间的连接被训练,结构拓扑引入的归纳偏置足够强大,使得网络在固定了模块内连接的情况下仍能表现良好,并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务,并且有助于构建更可扩展且可压缩的人工网络。
Jun, 2024
本文探讨了预训练的大型语言模型在预测现实世界环境中可行的计划方面的能力,表明预先训练的语言模型中的语言优先级允许我们推断出细粒度的子目标序列,并提出了一种通过环境的交互和反馈重新排列语言模型预测的简单策略,结合预先训练的导航和视觉推理组件在 ALFRED 基准测试中表现优秀。
May, 2022
该研究提出了一种模块化的方法,利用语言输入学习长期规划的导航策略。他们的分层策略在多个时间尺度上运行,并使用模块化和语义子目标,通过模仿学习和强化学习相结合的方法在 EQA 基准上表现出色,无论是在导航还是问题回答方面均优于前人工作。
Oct, 2018