我们介绍了一个基于人类语言指令的桌面环境下，侧重于任务分配和长时间跨度物体操作的多机器人语言条件操作（LEMMA）基准。LEMMA 具有多种类型的过程生成任务，其复杂度不同，其中一些需要机器人使用工具并将工具传递给彼此。为每个任务提供 800 个专家示范和人类指令进行训练和评估。LEMMA 相对于现有基准提出了更大的挑战，因为它要求系统识别每个操纵器的限制，并相应地分配子任务，同时还要处理每个任务中的强时间依赖。为应对这些挑战，我们提出了一种基于模块化分层规划方法作为基线。我们的结果突显了 LEMMA 在开发未来语言条件多机器人系统方面的潜力。

Aug, 2023

介绍了一个新的包含人类行为的视频和语言数据集，该数据集专注于描述动态人类动作的故事意图和局限性表达式，该数据集预计对评估包括否定和量化在内的复杂语句与视频之间的多模态推理系统非常有用。

Jun, 2021

本文提出了一种可用于有效学习人类行为的交替定向优化方法，以利用现有的单任务数据集，同时改善分类和检索任务的性能表现。

Feb, 2018

介绍了 ViLPAct，这是一个视觉 - 语言基准，用于人类活动计划。数据集包括 2.9k 视频，通过众包方式扩展了人的意图。据我们的广泛实验表明，主要的挑战是组合泛化和有效利用两种模态的信息。

Oct, 2022

使用基于 Unity 的数据生成器 M3Act，进行多视角、多人、多群体的合成数据预训练，可在团体活动识别中提高 5.59％和 7.32％的精度及高达 6.8％的模型收敛速度。同时用 M3Act 生成含有大规模数据的 3d 运动，建立提出了多项检测标准并提出了一个新的竞争基线。

Jun, 2023

针对自然语言与视觉任务融合的多个数据集和方法的持续爆炸性增长的问题研究，本篇综述将现有的行动识别方法按照它们如何概念化这个问题进行分类，并详细评述现有的数据集及其多样性、优缺点。 重点关注最近开发的数据集，它们将视觉信息与语言资源联系起来，并对图像中的动作进行细粒度的语法和语义分析。

Apr, 2017

本论文提出了一个基于序列到序列的神经网络框架，以学习共享活动标签名称的语义，而不是将标签仅视为整数 ID，这有助于提高人类活动识别的性能。该方法将学习活动分解为学习共享标记，通过在七个基准人类活动识别数据集上的广泛实验表明其优于现有方法。

Jan, 2023

这篇论文分析了当前视频中人类活动理解的研究现状和未来方向，探讨了数据集，评估指标，算法和未来发展方向，并提出需要掌握的信息以实现活动理解的重大进展。

Aug, 2017

本论文提出了一种基于深度强化学习的混合模型与无模型集成的方法 LEAPS，通过对含有内在语义规律但视觉多样性的人造环境的实验表明其比不考虑语义内容的强基线更有效。

Sep, 2018

一个名为 DaTAPlan 的框架扩展了之前的工作，使用低层次学习模型（LLM）来预测高级任务，使得一个代理人和人类能够协同合作通过经典规划系统计算出的低级行动共同实现这些任务，还能自适应地适应人类行为结果和偏好的意外变化，通过在真实的仿真环境中进行评估展示了准确的任务预测、有效的人机协作以及适应意外变化的能力。

Apr, 2024