本技术报告介绍了本文在 ACM MM 2022 的第 4 届 PIC 挑战中所提出的 MTVG 新任务的第 3 名获胜解决方案，该任务旨在基于文本描述确定未修剪视频中步骤的时间边界。我们通过利用特征的多样性，提出了从特征提取、网络优化到模型集成的一系列方法，实现了细粒度表示，并在 MTVG 竞赛中获得了第三名。

Aug, 2022

该论文综述了 AIS 2024 视频质量评估（VQA）挑战，着重于用户生成内容（UGC）。该挑战旨在收集能够估计 UGC 视频感知质量的基于深度学习的方法。挑战中的用户生成视频来自 YouTube UGC 数据集，包括多样的内容（体育、游戏、歌词、动漫等）、质量和分辨率。提出的方法必须在 1 秒内处理 30 个 FHD 帧。在挑战中，共有 102 位参与者注册，其中 15 人提交了代码和模型。本文回顾了前 5 个提交的性能，并提供了对用户生成内容高效视频质量评估的各种深度模型的调查。

Apr, 2024

本研究通过提出基于提议的框架（DPTMO），从多模态语义细节中捕捉精细化的化妆活动，实现化妆时间视频定位，实验证明双路径结构在细粒度语义理解方面优越。

Sep, 2023

本研究介绍了一种基于视频的问答解决方案，通过将视觉定位和物体跟踪结合，提出了一个两阶段的替代方法，并利用 VALOR 模型回答问题并生成边界框。

Jul, 2024

本研究介绍了 ANetQA，这是一个支持对挑战性非剪辑视频进行精细组成式推理的大规模基准测试。与现有的基准测试相比，它通过自动从预注释场景图中生成 QA 对，使得可以对多样化的推理能力进行粒度控制。与 AGQA 相比，ANetQA 的 QA 对具有更细粒度的语义特征，因此可以更好地帮助评估 VideoQA 模型。

May, 2023

本文提出考虑比赛运动的高层语义和内部时间结构是提高预测准确性和可解释性的关键，并根据 FineDiving 数据集和 Tempoal Segmentation Attention 模块来提高动作质量的评估方法。

Apr, 2022

通过使用三种典型任务、八个备受社区欢迎的数据集和四种适配方法评估现有基础模型在视频理解方面的能力，并提出了一种衡量基础模型在适应一般视频理解任务时的有效性和效率的 VideoGLUE 分数 (VGS)。研究发现，与自然语言和图像理解中的基础模型成就形成鲜明对比，专门任务模型在本文所研究的六个基础模型中表现出显著的优势；包含视频模态的本机视频基础模型在分类富有动态的视频、时间定位动作和理解多个动作的视频方面通常表现更好；本机视频基础模型在轻微适配下（如冻结 FM 骨干）可以在视频任务上表现良好，而图像本机基础模型则在全面端到端的微调中胜出。前两项观察结果揭示了在视频基础模型方面进行研究的需求和巨大机遇，最后一项结果确认了在评估基础模型时任务和适配方法均起到重要作用。

Jul, 2023

通过问题回答对现实生活中的个人行为视频进行对话式任务理解，以制定 EgoTaskQA 基准，并在其中对最先进的视频推理模型进行评估，以此引导视觉界朝着面向目标的视频理解和推理的方向前进。

Oct, 2022

该论文研究了视觉问答算法，发现现有算法在自然图像理解和推理两个领域上不能很好地综合运用。作者提出了一种新的 VQA 算法，能够在这两个领域上达到或超越现有算法的水平。

Mar, 2019

近年来，视频行为质量评估（AQA）受到越来越多的关注。大多数现有方法通常通过考虑整个视频来解决 AQA 问题，却忽视了行为的内在阶段级别特征。为了解决这个问题，我们设计了一种新的多阶段对比回归（MCoRe）框架来处理 AQA 任务。此方法可以有效提取时空信息，同时通过将输入视频分割成多个阶段或过程来降低计算成本。受到图形对比学习的启发，我们提出了一种新的阶段对比学习损失函数来提高性能。结果表明，MCoRe 在广泛采用的精细化 AQA 数据集上展示了迄今为止的最先进结果。

Jan, 2024