Dec, 2019

LiteEval: 一种面向资源高效视频识别的从粗到细的框架

PDF
TL;DR本研究提出 LiteEval，一种简单而有效的粗细粒度框架，用于资源有效的视频识别，可适用于在线和离线场景，利用轻量级 CNN 模型在粗尺度上导出高质量但计算高效的特征，在细尺度上对动态决策是否计算更强大更细节的特征。经过广泛的实验，在两个大规模视频基准测试集，FCVID 和 ActivityNet 上，LiteEval 需要较少的计算量，同时为在线和离线预测提供了优异的分类精度。
liteevalvideo recognitioncoarse-to-fine frameworklstmresource efficiency
发现论文，激发创造
  • VLM-Eval: 视频大型语言模型的通用评估

    本文提出了一个统一的评估方法，包括字幕、问答、检索和行动识别等多个视频任务，展示了基于 GPT 的评估方法在多个方面可以与人类一样的表现，同时也展示了一种简单的基准方法 Video-LLaVA，在评估视频 LLMs 时优于现有方法。此外，我们还在实际驾驶场景中评估了视频 LLMs 的有效性，并展示了令人鼓舞的识别和推理能力。希望我们的工作能为视频 LLMs 提供一个统一的评估方法，并帮助扩展更多实际应用场景。

    Nov, 2023

  • FrameExit：面向高效视频识别的条件式提前退出

    本文提出了一种条件早期退出框架，它采用简单的采样策略和级联的门控模块来自动决定处理最早推理的时点，在需要的情况下提供实时监督信号来提供精度和计算成本之间的动态权衡，以实现高效的视频识别。该方法在三个大规模视频基准测试中均优于竞争方法，在 ActivityNet1.3 和 mini-kinetics 上甚至具有 1.3 倍和 2.1 倍的计算成本降低。此外，该方法在 HVU 基准测试上确立了高效视频理解的新状态。

    Apr, 2021

  • LiteVL：增强空间 - 时间建模的高效视频 - 语言学习

    本文提出 LiteVL 模型，结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，取得了良好的性能，即使没有进行任何视频 - 语言预训练。

    Oct, 2022

  • 通过尺度 - 时间网格优化视频目标检测

    本文探讨了一种基于时间空间计算的高效物体检测方法，通过在规模，时间和空间上重新配置计算来实现性能和计算成本的平衡，提出了一个统一的框架，在 ImageNet VID 数据集中实现了具有竞争力的 mAP 79.6％。

    Apr, 2018

  • FreeEval: 大型语言模型的可靠高效评估的模块化框架

    介绍了一个名为 FreeEval 的模块化和可扩展框架，用于可靠高效地自动评估大型语言模型，通过统一的架构整合了各种评估方法，并结合人工评估和数据污染检测等元评估技术，实现了评估结果的公平性。

    Apr, 2024

  • 具有时间感知特征图的移动视频物体检测

    本文提出了基于反复卷积结构的在线物体检测模型，并使用瓶颈长短时记忆层来降低计算成本。该模型在移动 CPU 上实现了 15 FPS 的实时推断速度。

    Nov, 2017

  • 聚合帧级特征用于大规模视频分类

    该研究介绍了在大规模 YouTube-8M 数据集上定义的多标签分类问题的系统的开发，其中使用了多种技术来聚合提供的帧级特征表示并生成视频级预测，包括多种变体的循环神经网络和广义 VLAD，以及多种融合策略来探索模型间的互补性。在官方指标 GAP@20 中，我们最佳的融合模型在公共测试数据的 50% 上达到了 0.84198，在私人测试数据的 50% 上达到了 0.84193，在 650 支队伍中排名第 4。

    Jul, 2017

  • EMScore: 通过粗粒度和细粒度嵌入匹配评估视频字幕

    本研究提出一种基于嵌入匹配的视频字幕参照无关评估度量 EMS，结合粗细粒度的视频字幕匹配、基于大规模预训练模型的视觉语言嵌入等技术，更准确地衡量视频与候选字幕之间的相似度，并在 VATEX-EVAL 数据上进行了实验验证。

    Nov, 2021

  • UltraEval：一种用于 LLM 灵活全面评估的轻量级平台

    UltraEval 是一个轻量级、综合、模块化和高效的用户友好的评估框架，通过重新实现模型评估的三个核心组件（模型、数据和度量），允许在统一评估工作流中自由组合不同的模型、任务、提示和度量，并支持多种模型，提供足够的推理加速。

    Apr, 2024

  • EvalCrafter: 大规模视频生成模型的基准测试和评估

    对于图像和语言生成模型的视觉和语言生成模型，我们提出了一种新的框架和流程来彻底评估生成视频的性能，并通过系数对齐目标度量与用户意见，以获得模型的最终排行榜。

    Oct, 2023