通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

Jul, 2023

我们提出了一种通用的知识转移流程，通过从基础模型中逐步开发和整合外部多模态知识，提升开放世界视频识别的性能，在三个具有挑战性的开放世界视频基准数据集上达到了最先进的性能。

Feb, 2024

本文介绍了一个用于人类活动识别的多模态基准数据集 WEAR，其中包括了视觉和可穿戴设备的数据，有效地提高了各种算法的性能表现。此外，我们还展示了基于 Transformer 的视频动作检测模型在惯性和多模态人类活动识别方面的可行性，这是第一次使用此方法进行探索。

Apr, 2023

本文介绍了全面和多粒度的前列腺切除手术场景理解（GraSP）数据集，它将手术场景理解建模为具有不同粒度的互补任务的层次结构。我们的方法能够对手术活动进行多级理解，包括手术阶段和步骤识别等长期任务，以及手术器械分割和原子视觉动作检测等短期任务。为了利用我们提出的基准，我们引入了 Transformers for Actions、Phases、Steps 和 Instrument Segmentation（TAPIS）模型，这是一个将全局视频特征提取器与来自器械分割模型的局部区域提议相结合的通用架构，以应对我们基准的多粒度特性。通过广泛的实验，我们展示了在短期识别任务中包括分割注释的影响，突出了每个任务的不同粒度要求，并证明了 TAPIS 模型相对于以前提出的基线和传统的基于 CNN 的模型的优越性。此外，我们通过在多个公共基准上验证我们的方法的鲁棒性，确认了我们数据集的可靠性和适用性。这项工作在内窥镜视觉领域迈出了重要的一步，为将来研究提供了一个新颖且全面的框架，以实现对手术程序的全面理解。

Jan, 2024

通过整合医学影像和电子健康记录，可以提升肺栓塞分类性能和稳健性，并在不引入不必要误差的情况下，在受保护子群体之间全面评估公平性属性。

Nov, 2021

利用 Perceive-Represent-Generate (PRG) 三阶段框架、多模态深度生成模型，将机器人执行指令的动作序列与不同感知模态（例如视觉或声音）的感知信息相映射，并将其应用于机器人书写任务，完成可读可懂的手写字体。

Apr, 2022

发布了第一个多模态、公开可用的体内手术行为识别和语义仪器分割数据集，旨在通过利用提供的数据集的规模来开发在手术领域中稳健且高准确度的单任务行为识别和仪器分割方法，并进一步探索多任务学习方法的潜力及其相对优势。

Dec, 2023

该研究介绍了一种基于强化学习的离线手术阶段转换检测模型，相较于传统基于分类的方法，该模型能够更准确地探测手术过程中的连续阶段块，且在处理视频过程中可以节省时间和计算量，适用于腔镜手术等现代微创手术的研究应用。

Aug, 2022

本文提出了一种新的基于综合外科场景理解的实验框架，通过介绍 PSI-AVA 数据集和 TAPIR 模型，展示了这种框架和其他公共数据库上实验结果的优越性和多级注释的好处。

Dec, 2022

该研究论文介绍了一种利用视频数据进行手术阶段识别的方法，旨在为自动化工作流分析提供手术程序的全面理解。研究表明，在手术阶段识别任务中，视频基分类器相比于基于图片的分类器具有更高的效果。

Jun, 2024