本研究介绍了一种新颖的单阶段双模态变压器框架用于手术室中的场景图生成，名为 S^2Former-OR，旨在以端到端的方式辅助利用多视角的 2D 场景和 3D 点云进行场景图生成。通过引入视图同步转运方案促进多视角视觉信息交互，设计几何视觉凝聚操作将 2D 语义特征与 3D 点云特征进行整合，基于增广特征，提出了一种新颖的关系敏感变压器解码器，嵌入动态实体对查询和关系特征先验，实现了无需中间步骤直接预测实体对关系的图生成。通过广泛的实验证明了 S^2Former-OR 在 4D 手术室基准测试中具有卓越的场景图生成性能和较低的计算成本，与当前 OR-SGG 方法相比，例如提高了 3％的精度并减少了 24.2M 的模型参数。我们进一步将我们的方法与更广泛指标的通用单阶段 SGG 方法进行了全面评估，始终获得更好的性能。代码将提供。

Feb, 2024

ORacle 是一种先进的视觉语言模型，用于整体手术室领域建模，通过多视图和时序能力，结合外部知识进行推理，适应以前未见过的外科手术场景，并展示了提高手术室领域建模可扩展性和可负担性的潜力。

Apr, 2024

在本文中，我们提出了 DiffTriplet，一种利用扩散模型的新的生成性手术三元组识别框架，通过迭代去噪来预测手术三元组。我们的 Diffusion 框架提出了两种独特的设计来解决三元组关联的挑战，即关联学习和关联引导。实验证明，我们的方法在手术三元组识别方面取得了卓越的性能，达到了最新的最先进水平。

Jun, 2024

通过使用场景图和图卷积网络对手术视频进行建模和分析，研究证明其在自动化手术工作流识别方面具有竞争性能，并对模型决策的解释性和稳健性提供了关键的临床支持。

Sep, 2023

通过使用场景图知识解决目前手术 VQA 系统中的问题条件偏见和融入场景感知推理两个挑战，我们提出了一种基于手术场景图的数据集 SSG-QA 和一种新颖的手术 VQA 模型 SSG-QA-Net，展示了通过将几何场景特征融入 VQA 模型设计中能够显著提高结果。

Dec, 2023

该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

Apr, 2023

手术机器人在手术室中产生了很大的潜力，但也带来了新的挑战，需要强大的团队协调和有效的手术室管理。本文提出了一种新的样本有效和基于对象的手术活动识别方法，着重利用手术室中临床医生和手术设备之间的几何排列以及对象间的交互动力学。通过在低数据条件下进行长视频活动识别的实验，并与其他基于对象的方法在剪辑级别的动作分类上进行测试，展现了出色的性能。

Dec, 2023

本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

Jul, 2021

本研究旨在探讨一种更现实的无监督多模态机器翻译（UMMT）设定 —— 推理时无图片的 UMMT，在该模型中，模型使用源文本图像对进行训练，并且仅使用源文本输入进行测试。为实现推理时的纯文本输入，本文设计了一种视觉场景幻觉机制，用于动态生成伪视觉场景图像。通过无监督方法学习场景图像，本文提出了几个基于场景图象旋转的学习目标。在 Multi30K 数据的基准测试中，我们的 SG 方法在任务和设定上显著优于最佳基准线，帮助生成更完整，相关和流畅性的翻译，而不依赖成对图像。进一步的深入分析揭示了我们的模型如何在任务设置中取得进展。

May, 2023

通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

Jul, 2023