我们收集了一个全新的心理 4D 数据集 CaptainCook4D，包含了 384 个人在真实厨房环境中表演食谱的记录（共 94.5 小时），该数据集包含两种不同类型的活动：一种是参与者按照提供的食谱指示进行，另一种是参与者偏离指示并引发错误，我们提供了 5.3K 个步骤注释和 10K 个精细动作注释，并对该数据集进行了监督错误识别、多步本地化和程序学习的基准测试。

Dec, 2023

本文提出了一种新的基于综合外科场景理解的实验框架，通过介绍 PSI-AVA 数据集和 TAPIR 模型，展示了这种框架和其他公共数据库上实验结果的优越性和多级注释的好处。

Dec, 2022

使用一个可用于不同领域的综合数据集生成框架，模拟参数化流程并提供一致的流程数据，将出色的嵌入方法与知识图形进行比较，验证合成数据集的整体特征与真实数据集的可比性。

Aug, 2023

本文研究了从长达数分钟的视频中识别精细、多步骤活动的问题，通过远程监督的语言模型方法，基于 wikiHow 的文本数据库自动标注视频中的步骤，并在识别过程中考虑了它们的时间依赖性，实现了较高的泛化性能。

Jan, 2022

通过在线的一类分类模型 PREGO 在过程自我中心视频中检测错误，从而准确识别程序性错误，该模型基于在线动作识别和符号推理模块实现错误检测。

Apr, 2024

该研究提出了一项基于视频配对的序列验证任务，通过转换步骤以及在不使用事件级或帧级注释的情况下进行相同任务，以区分具有相同操作序列的正面视频配对和负面视频配对，并引入了一种新的评估指标来确保不同步骤级别的变换之间的等价性，并且利用基于 Transformers 的编码器以及新的序列对齐损失函数实现了对长期依赖性的更好的特征化，从而优于其他动作识别方法。

Dec, 2021

通过最大似然优化边权重的方法，从动作序列中预测任务图，与之前的方法相比提高了 16.7% 的准确性；同时可通过文本或视频嵌入来预测任务图，并在程序性自我中心视频中显著提高在线错误检测的准确性，分别在 Assembly101 和 EPIC-Tent 数据集上获得了 19.8% 和 7.5% 的显著增益。

Jun, 2024

本研究旨在解锁机器人实现多模感知的能力，以通过单次模仿学习技术普及各种真实世界技能，通过收集千万级别的真实世界接触式机器人操作记录构建的开源数据集提高任务和动作规划的性能。

Jul, 2023

本文介绍了一种系统性的方法来生成高度逼真、注释的合成数据，以用于计算机视觉任务的深度神经网络的训练。该方法的主要贡献是一种程序性的世界建模方法，能够产生高度可变性和物理准确性的图像合成，并且它是从手工建模的虚拟世界和在实时应用中使用的近似图像合成方法中脱颖而出的。我们的方法的优点包括灵活性、物理精确性、可扩展的图像合成、隐式广泛的类和特征覆盖以及完整的数据自检测以进行注释，所有这些都有助于质量和成本的效率。在本文中，我们以自动驾驶车辆和机器人导航的语义分割为主要应用，使用合成数据对多个深度学习体系结构进行了训练和微调。评估表明，我们的方法提高了神经网络的性能，即使是适度的实施工作也能产生最先进的结果。

Oct, 2017

本文介绍了如何通过利用合成数据来有效地训练深度神经网络用于工业零件分类，特别是针对与实际图像之间的领域差异。通过引入一个合成数据集作为 Sim-to-Real 挑战的初步测试平台，其中包含了六个工业用例的 17 个物体，包括独立和组装部件，对形状和反射性非常相似的几个子集为工业部件的具有挑战性的案例进行了评估。通过研究五个最先进的深度网络模型（有监督和自监督）在仅使用合成数据进行训练但在真实数据上进行测试的性能基准测试，我们分析结果，得出利用合成数据进行工业零件分类以及进一步开发更大规模的合成数据集的可行性和挑战。我们的数据集和代码已经公开发布。

Apr, 2024