Feb, 2024

S^2Former-OR：单阶段双模态变压器用于目标剧情生成

PDF
TL;DR本研究介绍了一种新颖的单阶段双模态变压器框架用于手术室中的场景图生成，名为 S^2Former-OR，旨在以端到端的方式辅助利用多视角的 2D 场景和 3D 点云进行场景图生成。通过引入视图同步转运方案促进多视角视觉信息交互，设计几何视觉凝聚操作将 2D 语义特征与 3D 点云特征进行整合，基于增广特征，提出了一种新颖的关系敏感变压器解码器，嵌入动态实体对查询和关系特征先验，实现了无需中间步骤直接预测实体对关系的图生成。通过广泛的实验证明了 S^2Former-OR 在 4D 手术室基准测试中具有卓越的场景图生成性能和较低的计算成本，与当前 OR-SGG 方法相比，例如提高了 3％的精度并减少了 24.2M 的模型参数。我们进一步将我们的方法与更广泛指标的通用单阶段 SGG 方法进行了全面评估，始终获得更好的性能。代码将提供。
scene graph generationsurgical proceduresbimodal transformerend-to-endrelation-sensitive transformer decoder
发现论文，激发创造
  • 手术室场景图生成的时间动态三模态融合

    通过使用 TriTemp-OR 框架，整合图像、点云和语言三种模态，结合时间动态，并借助大规模语言模型，实现对手术场景的综合理解，以预测关系并生成场景图。

    Apr, 2024

  • SGTR+：使用 Transformer 进行端到端场景图生成

    通过使用双分图构建方法和终到终的框架，我们提出了一种新的场景图生成方法，有效地解决了组合属性所带来的挑战。实验证明，我们的方法在三个具有挑战性的基准测试中展现出了优秀的表现和高效率的推理能力，超过了现有方法的大部分，达到了最佳性能和时间复杂度。

    Jan, 2024

  • SGTR：基于 Transformer 的端到端场景图生成

    提出了一种基于 Transformer 的端到端框架，利用结构化谓语生成器开发了一种新的实体感知的谓语表示方法，设计了图组装模块以推断适应性的进行双部分场景图形的构建，并在两个具有挑战性的基准测试中取得了最先进或可比的性能，并提高了推理效率。

    Dec, 2021

  • 使用条件查询进行单阶段视觉关系学习

    本文提出了 TraCQ, 一种新的基于 Transformers 和带有条件查询的 SGG 模型，绕开多任务学习问题和组合实体配对分布，并且在使用 Visual Genome 数据集的实验中优于目前单阶段 SCG 方法和许多双阶段方法，且具有端到端的训练和更快的推理。

    Jun, 2023

  • SGFormer：用于 360 深度估计的球面几何变换器

    本文提出了一种名为 SGFormer 的球面几何转换器，旨在解决 360 深度估计中的全景畸变问题，并通过将球面几何先验引入视觉转换器来增强其性能。在实验中，我们对流行的基准数据集进行了广泛的测试，证明了我们方法优于现有最先进的解决方案。

    Apr, 2024

  • 利用边缘定向推理进行基于三维点的场景图分析

    通过三个连续的阶段，构建场景图、推理和推断，我们提出了一种三维基于点的场景图生成（SGG_point）框架，在推理阶段创建了一种面向边缘的图卷积网络（EdgeGCN），以利用多维边缘特征进行显式关系建模，同时探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。

    Mar, 2021

  • SGDFormer：一阶段基于 Transformer 的跨光谱立体图像引导去噪架构

    我们提出了一种名为 SGDFormer 的单阶段变压器架构，用于交叉光谱立体图像引导去噪，该架构将立体图像的对应建模和特征融合集成到一个统一的网络中，以恢复没有伪影和良好细节结构的图像，并在各种数据集上取得了最先进的性能。

    Mar, 2024

  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023

  • SDR-Former：一种用于肝脏病变分类的孪生双分辨率 Transformer，使用 3D 多相成像

    提出了一种新的 Siamese Dual-Resolution Transformer (SDR-Former) 框架，特别针对不同相数的 3D 多相 CT 和 MR 成像中的肝脏病变分类，利用流体动力学 Siamese Neural Network (SNN) 处理多相成像输入，通过混合的 Dual-Resolution Transformer (DR-Former) 子架构以及新颖的 Adaptive Phase Selection Module (APSM) 实现特征提取和相特定的相互通信，从而提高了病变分类的准确性。

    Feb, 2024

  • GSGFormer: 多模态行人轨迹生成式社交图变换

    GSGFormer 是一个创新的生成模型，能够考虑复杂的相互作用并提供大量潜在的行为模式来预测行人的轨迹。通过采用异构图神经网络捕捉行人、语义地图和潜在目的地之间的相互作用，以及使用 Transformer 模块提取时间特征和采用 CVAE-Residual-GMM 模块生成多样的行为模态，GSGFormer 在多个公共数据集上的评估中不仅超过了领先方法的表现（在数据充足时），而且在数据有限时仍具有竞争力。

    Dec, 2023