CVPRJul, 2018

神经任务图：从单一视频演示推广到未知任务

PDF
TL;DR通过使用神经任务图网络作为中间表示，我们成功地在两个复杂任务中将任务的组成结构显式融合到模型中，从而实现任务间的泛化，提高数据效率以及无需密集分层监督而实现强泛化能力，并在 JIGSAWS 手术数据集上展示了良好的任务结构预测性能。
compositional structureneural task graph networksinter-task generalizationdata efficiencytask structure prediction
发现论文，激发创造
  • 针对少样本任务概括的快速推理和组合任务结构转移

    本研究提出基于多任务子任务图推断的少样本强化学习方法，通过推断训练任务的高层子任务图结构，提高在测试任务中的任务推断和适应能力，实验结果表明其能够学习并利用任务的潜在共同结构，比其他现有算法如元强化学习、分层强化学习和启发式智能体等更快地适应未见过的任务。

    May, 2022

  • 分层强化学习用于具有子任务依赖性的零样本普适性

    提出了一种新的强化学习问题，该问题需要代理在一个由子任务图描述的先前未见的环境中进行泛化，我们提出了一种神经子任务图求解器，通过使用递归神经网络嵌入来编码子任务图，并用基于梯度的策略，图奖励传播来预训练它，进一步通过演员 - 评论家方法微调它，实验结果表明，我们的代理可以进行复杂的推理，找到执行子任务图的近似最优方式，并且在未见的子任务图上具备很好的泛化性能。

    Jul, 2018

  • 神经任务编程：跨层次任务学习泛化

    本论文提出了一种新的机器人学习框架 —— 神经任务规划（NTP），实现从任务输入到分解、再到完成的过程，在机器人操纵任务中实现强泛化，展现出层次性和组合性的结构，同时对于长度增加、目标变化的未知任务也具备较强的泛化能力。

    Oct, 2017

  • 从人类演示视频中学习可推广的任务表征：一种几何方法

    本文提出了一种利用几何任务结构进行表示学习的方法，通过人类演示视频学习视觉观察的表征，并通过建立不同类别物体之间的任务说明对应来实现任务的泛化，从而不需要额外的机器人训练或预先录制的机器人运动来实现在机器人上的任务学习。

    Feb, 2022

  • 学习可规划程序任务的表示的动作动态任务图

    本文通过 Action Dynamics Task Graphs (ATDG) 提取任务的结构 - 相关动作及其时间依赖性来理解人类执行任务的未见视频。ATDG 还可以用于提供用户中心指导，包括跟踪正在执行中的任务、推荐下一步行动和规划动作序列，相较于当前最新的神经任务图法，在 CrossTask 数据集的 18 项操作中，改进了 30.1％的任务跟踪准确性和 20.3％的下一步行动预测准确度。

    Jan, 2023

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 基于 And-Or 图表示的神经任务规划

    本文提出了使用长短时记忆网络和知识与或图来解决语义任务规划问题，通过训练辅助 LSTM 网络，可以产生很多有效的样本，进而提高模型的训练效果，实验证明该方法对于解决日常任务规划问题有很好的效果。

    Aug, 2018

  • 学习参数化的任务结构以实现对未知实体的泛化

    通过一阶逻辑和子任务实体来建模子任务依赖关系，学习零样本实体属性，并且比以前的方法更有效地学习层次和组合任务的潜在结构，示范 PSGI 可以泛化模拟在适应期间未见到过的子任务结构。

    Mar, 2022

  • 通过统一表示和行为蒸馏实现形态任务泛化的系统

    通过建立形态 - 任务图，基于 Transformer 架构，以及用大规模行为数据来训练策略，本文研究了探索一种学习单个策略来解决不同任务和代理人形态的方法，以期实现在连续控制领域的广泛泛化。

    Nov, 2022

  • 从教学视频中生成多模态子任务图

    该研究旨在从任务的教学视频中建立多模态子任务图，以便更准确地预测下一个子任务，并且与先前方法相比，建立的图更接近于人工标注的图。

    Feb, 2023