Nov, 2023

JaSPICE：基于谓词 - 论元结构的自动评估度量方法用于图像字幕模型

PDF
TL;DR本研究提出了一种自动评估度量 ——JaSPICE，根据场景图评估日语字幕，并通过依赖关系和谓语 - 论元结构生成场景图，并使用同义词扩展图。实验结果表明，我们的度量方法在与人工评估的相关系数方面超过基准度量方法。
image captioningautomatic evaluation metricsalternative metricsjaspicejapanese captions
发现论文，激发创造
  • SPICE：语义命题图像字幕评估

    提出了基于场景图谱的自动生成图像标题评估指标 SPICE，其捕捉人类判断模型生成标题的能力优于现有指标，并能回答哪个标题生成器更懂颜色和能否计数等问题。

    Jul, 2016

  • 学习评估图像字幕生成

    提出了一种基于学习的区分性评价指标，通过数据扩增方案显著提高了评价指标对病态构造的鲁棒性，并在 FLickr 8k 和 COCO 数据集上对其他指标表现良好。

    Jun, 2018

  • 走向对图片的独特和信息丰富的字幕

    本文通过实证实验对现代的图像标注系统和评价指标进行了分析，并引入了一种新的独特度度量标准 SPICE-U，该标准通过使用对象探测器以及使用相互信息作为重新排序目标来改善现有的标注模型。

    Sep, 2020

  • SPIDEr 策略梯度优化改进图像字幕生成

    本文提出了一种基于策略梯度方法的优化算法，用于改进图像标题生成质量评估的 SPICE 和 CIDEr 指标的线性组合 SPIDEr，实验表明该算法优于之前的 MIXER 算法，并且使得使用 SPIDEr 指标训练的生成的图像标题比使用 MLE 或 COCO 指标训练的更受人类评估者欢迎。

    Dec, 2016

  • 基于依存句法模型的自动机器翻译评价度量

    通过对依存分析模型理解，提出一种不需要人工定义子结构的新的自动评估度量标准，以获取词汇相似性，并取得系统水平的最佳性能。

    Aug, 2015

  • 正向增量对比学习在图像和视频字幕评估中的应用

    提出了基于对比学习的图像标注评估指标 PAC-S，使用生成的图像和文本进一步统一了对比视觉 - 语义空间的学习，实验中表现最好，超过了 CIDEr、SPICE 和 CLIP-Score 等其他指标。

    Mar, 2023

  • SPICE: 图像聚类的语义伪标记

    本文提出了一种基于语义伪标签的图像聚类框架，使用两种语义感知的伪标签算法进行自监督学习来测量特征相似性和聚类差异，并成功将无监督分类与有监督分类之间的差距缩小，实现了图像聚类的新突破。

    Mar, 2021

  • 基于多模态上下文语义解析的语音处理

    通过将多模态输入与先前的语境相结合，我们介绍了一种称为 SPICE 的任务，旨在提高人工智能代理程序的上下文意识。SPICE 不仅仅是传统语义解析，还提供了一种结构化、可解释的框架，用于根据新信息动态更新代理程序的知识，反映人类沟通的复杂性。我们开发了 VG-SPICE 数据集，旨在通过口语对话交换中的视觉场景图构建来挑战代理程序，并突出了语音和视觉数据的整合。我们还介绍了用于 VG-SPICE 的音频 - 视觉对话场景解析器 (AViD-SP)。这些创新旨在改进多模态信息处理和整合。VG-SPICE 数据集和 AViD-SP 模型均已公开提供。

    Jun, 2024

  • 图像字幕的透明人工评估

    本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

    Nov, 2021

  • Polos: 从人类反馈中进行多模态度量学习用于图像字幕生成

    提出了一种基于人类反馈训练的 Polos 的自动评估度量标准用于图像字幕模型，该度量标准从多模态输入中计算得分，利用通过大规模对比学习训练的嵌入进行平行特征提取机制。通过在 Polis 数据集上取得的最新成果，证明了该方法具有效果和鲁棒性。

    Feb, 2024