Mar, 2023

PR-MCS: 针对多语言图像字幕生成的扰动鲁棒度量

PDF
TL;DR本文提出了 Perturbation Robust Multi-Lingual CLIPScore (PR-MCS) 作为一种新型的无参考图像字幕度量标准，应用于多种语言，以确保对各种干扰类型的语言扰动具有高度鲁棒性。
automatic evaluation metricsimage captioningmulti-lingualperturbationclipscore(pr-mcs)
发现论文，激发创造
  • 无参考图像字幕评估指标的鲁棒性研究

    评估了 CLIPScore 和 UMIC 这两种自动评估图像标题的参考无关度量标准的鲁棒性，发现这两个指标在识别标题中的微小差错方面存在一定困难，同时受视觉概念和语言结构的影响。

    May, 2023

  • CLIPScore：一种基于参照无关的图像字幕评估指标

    自然语言和图片联合训练的 CLIP 模型可用于基于图像的字幕的评估过程中，而无需参考词，CLIPScore 作为一种新的无参考评估指标可以实现与人类判断的最高相关性。

    Apr, 2021

  • 正向增量对比学习在图像和视频字幕评估中的应用

    提出了基于对比学习的图像标注评估指标 PAC-S，使用生成的图像和文本进一步统一了对比视觉 - 语义空间的学习，实验中表现最好，超过了 CIDEr、SPICE 和 CLIP-Score 等其他指标。

    Mar, 2023

  • 稳健语言模型的提示扰动一致性学习

    大型语言模型对于自然语言处理任务表现出色，但在序列标注任务（如意图分类和槽位填充）中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法，Prompt Perturbation Consistency Learning（PPCL），成功地提高了序列标注任务的性能，并且使用更少的数据样本击败了数据增强方法。

    Feb, 2024

  • 图像字幕的透明人工评估

    本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

    Nov, 2021

  • MoPE-CLIP: 结构剪枝用于高效的视觉语言模型的基于模块的剪枝错误度量

    本文提出了一个新的压缩框架，使用 Module-wise Pruning Error（MoPE）度量 CLIP 模块的重要性，并将其应用于预训练和任务特定的微调，通过从宽度到深度连续修剪实现高竞争力的任务特定模型，实验证明 MoPE-CLIP 优于现有的视觉 - 语言预训练模型压缩方法。

    Mar, 2024

  • 跨语言零样本条件下多语言语言模型对现实世界噪声的鲁棒化：基于鲁棒对比度预训练的方法

    提出一种预处理方法 (Robust Contrastive Pretraining)，将数据扩增和对比损失项结合，以提高多语言分类任务中现有预训练模型 (Robust Contrative Pretraining，RCP) 的稳健性，并在两个句子水平和两个序列标注多语言分类任务中取得了显著提高。

    Oct, 2022

  • 多单帽编码：用于零 - shot 多语言视觉字幕的自动编码提示

    多场景和多语言的视觉描述生成中，我们提出了一种简单而有效的零样本方法 MultiCapCLIP，它可以在不需要标注视觉 - 描述对的情况下，为不同的场景和语言生成视觉描述，并且在四个基准测试和四种语言上得到了相对于最先进的零样本和弱监督方法分别为 4.8% 和 21.5% 的绝对改进。

    Aug, 2023

  • Polos: 从人类反馈中进行多模态度量学习用于图像字幕生成

    提出了一种基于人类反馈训练的 Polos 的自动评估度量标准用于图像字幕模型，该度量标准从多模态输入中计算得分，利用通过大规模对比学习训练的嵌入进行平行特征提取机制。通过在 Polis 数据集上取得的最新成果，证明了该方法具有效果和鲁棒性。

    Feb, 2024

  • 数字中的魔鬼：走向稳健的多模式数据过滤器

    通过分析多模态数据集，我们观察到包含数字等冗余信息对 CLIP 得分的深远影响，因此提出了一种基于文本的过滤方法，实验证明在选择数据的过程中超过原始 CLIP 得分过滤器的性能表现，并提供了改善 CLIP 训练有效性的有价值洞见，包括语言重写技术。

    Sep, 2023