我们提出了一种新的视频转换器的降压块 - 轨迹关注，并提出了一种解决计算和存储在输入大小上的二次依赖性的新方法，其中特别重要的是对于高分辨率或长视频。将这些想法应用于视频行动识别的具体任务中，并在 Kinetics，Something-Something V2 和 Epic-Kitchens 数据集上取得了最先进的结果。

Jun, 2021

利用基于自注意力机制的 TSformer-VO 模型，将单目视觉里程计作为视频理解任务，从视频片段中提取特征并通过端到端的方式估计摄像机的 6-DoF 位姿，取得了与基于几何和深度学习的方法相比具有竞争力的业内领先表现。

May, 2023

本文介绍了一种利用 “Object-Centric” 思想的视频生成器 ——Object-Centric Video Transformer（OCVT）模型，该模型通过将场景分解为对象来学习多个相互作用对象的复杂空间 - 时间动态，相较于基于像素的模型，其显著提高了记忆效率，能够在单个 48GB GPU 上训练长度达 70 帧的视频，且在 CATER 任务上取得了最新的实验结果。

Jul, 2021

本文提出了基于物体感知的 Transformer 模型 Object-aware Transformers，使用边界框和物体标签来引导训练过程，将对象表示法引入视频 - 语言架构中，从而提高了视频文本匹配任务的性能。

Dec, 2021

本研究提出了反事实模拟测试的框架，并使用构建的逼真合成场景研究深度神经网络对特定情景变化的鲁棒性问题，发现随着网络规模和数据规模多样性的增加，所有网络的鲁棒性均有所提高，并通过对比发现 ConvNext 对姿态和尺度变化更加鲁棒，而 Swin 对部分遮挡更加鲁棒，同时发布了包含 272k 张自然变形的对象图片的数据集（NVD）

Nov, 2022

通过结合传统相机和事件相机，本文提出了一种在动态遮挡存在的情况下从单个视点重建背景的新方法，利用遮挡引起的事件提供高时间分辨率的相对强度变化信息，实现对背景内容的更准确重建。通过大规模数据集的实验证明，我们的方法在图像修复方面比图像修复方法的 PSNR 提高了 3dB。

Jul, 2023

为了实现机器人的自主技能获取，本文提出了一种基于转化的 3D 视频预测（T3VIP）方法，通过将场景分解为其对象部件并预测其相应的刚性变换，从自身的过去经验中明确地模拟 3D 运动，预测未来的可行结果，并具备自适应超参数优化技术，是首个提供固定摄像头的 RGB-D 视频预测的生成模型。

Sep, 2022

采用鲁棒的数据增强技术和深度学习架构，通过提出一种新的数据增强技术、采用混合任务级联（HTC）框架和 CBNetV2 作为骨干架构以及引入 Stochastic Weight Averaging（SWA）训练策略，该论文在篮球场景中分割人体主体方面取得了显著的遮挡得分（OM）。

Oct, 2023

通过开放式训练和高容量结构的机器学习模型，结合具有各种数据多样性的大规模数据集，以实现机器人模型的泛化能力。

Dec, 2022

新的 Transformer 跟踪器在最新的基准测试上表现出高效能，该研究关注于理解 Transformer 跟踪器在对抗性攻击中的行为以及各种攻击方法在参数变化时对跟踪数据集的表现。我们的实证研究发现，攻击干扰的程度和攻击干扰的稀疏性可能在不同干扰级别的变化下保持稳定。通过对所有 Transformer 跟踪器应用特定攻击，我们展示了具有更强交叉注意建模的新 Transformer 跟踪器在跟踪数据集上具有更强的对抗鲁棒性。同时，我们的研究结果也表明需要新的攻击方法来有效应对最新类型的 Transformer 跟踪器。

Jun, 2024