本文介绍了一种称为长视频变压器（LoViT）的两阶段方法，用于融合短期和长期时间信息的融合，可以比当前的方法更好地处理手术过程中的长视频，并通过将本地和全局特征结合起来使用多尺度时间聚合器对手术相位进行分类。研究发现，与现有的方法相比，LoViT 在两个手术视频数据集上的表现最优

May, 2023

本论文提出了一种上下文敏感的时态特征学习（CSTL）网络，用于步态识别，其中在三个尺度上生成时间特征，并根据来自局部和全局视角的上下文信息自适应地聚合它们。通过使用 transformer 实现全局关系建模和选取差异化空间特征的策略，显著提高了步态识别的准确性。

Apr, 2022

本文介绍了全面和多粒度的前列腺切除手术场景理解（GraSP）数据集，它将手术场景理解建模为具有不同粒度的互补任务的层次结构。我们的方法能够对手术活动进行多级理解，包括手术阶段和步骤识别等长期任务，以及手术器械分割和原子视觉动作检测等短期任务。为了利用我们提出的基准，我们引入了 Transformers for Actions、Phases、Steps 和 Instrument Segmentation（TAPIS）模型，这是一个将全局视频特征提取器与来自器械分割模型的局部区域提议相结合的通用架构，以应对我们基准的多粒度特性。通过广泛的实验，我们展示了在短期识别任务中包括分割注释的影响，突出了每个任务的不同粒度要求，并证明了 TAPIS 模型相对于以前提出的基线和传统的基于 CNN 的模型的优越性。此外，我们通过在多个公共基准上验证我们的方法的鲁棒性，确认了我们数据集的可靠性和适用性。这项工作在内窥镜视觉领域迈出了重要的一步，为将来研究提供了一个新颖且全面的框架，以实现对手术程序的全面理解。

Jan, 2024

青光眼预测的研究引入了基于变压器架构的多尺度时空变换网络 (MST-former)，针对时序图像输入进行了特定设计，可以在时空维度上有效地学习图像的语义信息；在不规则采样数据方面，引入了时间距离矩阵来非线性地缩放时间注意力；此外，通过温度控制的平衡 Softmax 交叉熵损失函数解决了类别不平衡问题。实验结果表明，MST-former 方法在青光眼预测方面表现出卓越的优势，AUC 值达到 98.6%；在阿尔茨海默病神经成像倡议 (MRI) 数据集上，对轻度认知损害和阿尔茨海默病的预测准确率为 90.3%，明显优于对比方法。

Feb, 2024

本论文提出了一种名为 GaitGS 的新型框架，利用多颗粒度和跨度、多个时间特征提取器和其他模块来进行步态识别，并在三个流行的数据集上进行了广泛的实验，证明了我们方法的最新性能。

May, 2023

通过开源最大的外科手术视频数据集，提出了视觉预训练技术和 GSViT 算法，向外科手术应用提供实时的视频处理和改进性能。

Mar, 2024

本文提出了一种名为 ARST 的自回归手术变压器，用于从腹腔镜视频中实时识别手术阶段。通过条件概率分布隐式地建模了阶段间相关性，并采用一致性约束推断策略以减少推断偏差和增强阶段一致性。在知名的公共数据集 Cholec80 上进行了综合验证，实验结果表明，我们的方法在定量和定性上都优于现有的最先进方法，并实现了每秒 66 帧的推断速率。

Sep, 2022

提出了一种结合自我关注和 S4 层优点的高效长范围视频模型，具有复杂的长范围时空依赖性，比传统的全自注意模型快 2.63 倍，占用 8 倍更少的 GPU 内存，并在视频分类等任务中取得了最先进的结果。

Apr, 2022

本文中提出使用空间门控机制来处理 3D 核的空间 - 时间分解，实现 Gate-Shift Module (GSM) 用于视频动作识别，结果在 Something Something-V1 和 Diving48 数据集上达到了最新的最优结果，而且在 EPIC-Kitchens 数据集上，获得了竞争性结果，具有远低于模型复杂度的优点。

Dec, 2019

提出一种效率更高的视觉 Transformer 模型，命名为 Glance-and-Gaze Transformer (GG-Transformer)，其通过两个并行的分支 ——Glance 和 Gaze，分别实现自适应扩张分区的自注意力机制与简单深度卷积层的局部图像上下文补偿，从而实现长距离依赖性和局部区域信息的高效建模，在多个视觉任务和基准测试中都表现出了优秀的性能。

Jun, 2021