ACLJun, 2021

SMURF：基于典型性分析的字幕评估语义和语言理解融合

PDF
TL;DR通过信息理论中的 “典型性” 方法，我们提出了一种新的评估框架来解决视觉字幕生成中缺乏明确答案的问题，并使用该框架开发了语义比较和流畅度评估指标，通过这些指标展示了更高水平的语义和流畅度的区别以及与人类判断的相关性，从而实现了与其他基于规则的方法不同的最先进的模型评估。
visual captioningevaluationtypicalitysparcsfluency metrics
发现论文，激发创造
  • 走向对图片的独特和信息丰富的字幕

    本文通过实证实验对现代的图像标注系统和评价指标进行了分析，并引入了一种新的独特度度量标准 SPICE-U，该标准通过使用对象探测器以及使用相互信息作为重新排序目标来改善现有的标注模型。

    Sep, 2020

  • 学习评估图像字幕生成

    提出了一种基于学习的区分性评价指标，通过数据扩增方案显著提高了评价指标对病态构造的鲁棒性，并在 FLickr 8k 和 COCO 数据集上对其他指标表现良好。

    Jun, 2018

  • SPICE：语义命题图像字幕评估

    提出了基于场景图谱的自动生成图像标题评估指标 SPICE，其捕捉人类判断模型生成标题的能力优于现有指标，并能回答哪个标题生成器更懂颜色和能否计数等问题。

    Jul, 2016

  • 非平行文本转换的无监督评估指标和学习标准

    该研究提出了一种自动生成文本释义并修改其属性或属性的方法，解决了 “无对照数据” 的问题，利用多种模型进行实验并给出新的损失函数和训练策略，提高了语义保留和流畅度，该方法能够显著提高基准方法。

    Oct, 2018

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • 标题：字幕中的内容？数据集特定的语言多样性及其对视觉描述模型和度量的影响

    研究自动视频描述领域的发展，发现数据集所具有的语言多样性是影响生成泛化性通用和无信息的描述文本的关键因素。推荐多样性采集新数据的方法和应对当前模型和指标多样性有限的后果的方法和方法。

    May, 2022

  • 风格转移和改写：寻找合理的语义相似性度量

    本文分析了超过十余种测量两个短文本的语义相似性的方法，并使用一个新的标记为语义相似性的 14,000 句子数据集证明文献中使用的这些度量标准都不能够足够接近人的判断。虽然有一些最近提出的度量标准提供了具有可比性的结果，但 Word Mover Distance 被证明是目前测量改写文本的语义相似性的最合理的解决方案。

    Apr, 2020

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 关于图像标注中的多样性：如何像人类一样描述

    本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

    Mar, 2019

  • 有意义的标签推断与统一语义类型化

    本文提出 UniST 框架以实现语义打标，该框架通过将输入和标签投影到共同的语义嵌入空间来捕捉标签的语义。同时，多种语义打标任务可以在该框架中联合训练，从而获得性能相当于单独任务模型的单个紧凑多任务模型，同时也提高了转移能力。

    May, 2022