CVPRNov, 2021

EMScore: 通过粗粒度和细粒度嵌入匹配评估视频字幕

PDF
TL;DR本研究提出一种基于嵌入匹配的视频字幕参照无关评估度量 EMS，结合粗细粒度的视频字幕匹配、基于大规模预训练模型的视觉语言嵌入等技术，更准确地衡量视频与候选字幕之间的相似度，并在 VATEX-EVAL 数据上进行了实验验证。
video captioningreference-free metricembedding matching-based scorepre-training modelsvatex-eval
发现论文，激发创造
  • 关于视音频检索中的语义相似度

    本文提出了一种基于语义相似性的视频检索方法，它允许多个视频和标题被视为同等相关，并且排名的顺序不影响检索性能比较，同时，它还提出了多种估计语义相似性的方法，以适应大规模检索数据集。本文在三个常用视频检索数据集上分析了该方法的表现。

    Mar, 2021

  • 基于视觉语言模型的字幕评估方法及其视觉上下文提取

    通过提取和组织图像的详细内容，包括物体、属性和关系，我们的方法将人类编写的参考文本替换为视觉上下文，并帮助视觉语言模型更好地理解图像，从而提高图像标题评估性能，并在多个数据集上进行的元评估验证了 VisCE2 在捕捉标题质量方面胜过常规预训练评估指标，并且在与人类判断方面呈现出卓越的一致性。

    Feb, 2024

  • MoverScore: 文本生成的上下文嵌入和地球移动距离评估

    本文研究评估文本生成系统的评价指标，提出了基于语义而非形式的指标 MoverScore，并通过多项任务的验证表明采用上下文表示和距离测度相结合的方法可以取得最佳表现，该指标具有较强的泛化能力，并已提供 Web 服务方便使用。

    Sep, 2019

  • 无参考图像字幕评估指标的鲁棒性研究

    评估了 CLIPScore 和 UMIC 这两种自动评估图像标题的参考无关度量标准的鲁棒性，发现这两个指标在识别标题中的微小差错方面存在一定困难，同时受视觉概念和语言结构的影响。

    May, 2023

  • 走向更好的文本到视频生成度量

    本文研究现有评估指标的局限性，并引入一种新的评估方法，即 Text-to-Video Score (T2VScore)，该指标综合考虑了文本 - 视频对齐和视频质量两个关键要素。同时，我们提出了 TVGE 数据集，以评估和促进未来改进文本到视频生成的指标。在 TVGE 数据集上的实验证明了 T2VScore 的优越性，能够提供更好的评估指标。

    Jan, 2024

  • 从密集视频字幕中提取语义元数据

    通过使用 MT 和 PVDC 生成视频字幕，我们提出了一个从自动生成的视频字幕中提取语义元数据的框架。 我们的实验表明，可以从生成的字幕中提取实体，属性，实体之间的关系和视频类别。

    Nov, 2022

  • 图像字幕的透明人工评估

    本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

    Nov, 2021

  • 用 FIRE 对抗火灾：评估文本到视频检索基准的有效性

    通过修正误标的负样本，我们评测了三种模型在两个标准测试集上的表现，发现在最佳模型上，修正后的指标提升了 25% 以上。此外我们发现测试集的 recall@10 已经接近饱和，同时我们推荐以样本抽样方式缓解标注数据成本，对未来的 text-to-video retrieval 基准测试提出了建议。

    Oct, 2022

  • 一段视频胜过万言：利用多样化字幕进行更好的长视频检索的训练和基准测试

    通过对长视频生成多样的合成标题，使用大型语言模型评估长视频检索系统的能力，并提出轻量级微调方法（基于对不同标题中信息层级的差异进行对比损失学习），在下游的段落 - 视频检索任务以及使用合成数据计算的各种长视频检索度量上均有明显提升。

    Nov, 2023

  • 视频字幕生成的帧和片段级特征及候选池评估

    本研究以编码器 - 解码器结构为基础，利用不同的视频特征训练了两个分别负责对象和动作信息的输入子域的模型，并采用一个评估模型从这些专业模型生成的候选语句中选择最佳的视频简述，相较于单一模型，该方法更适用于视频简述任务并在 MSR 视频语言挑战中获得了最佳人工评价的评级和自动评估度量指标的第二名。

    Aug, 2016