Feb, 2020

图像描述中多样性 - 准确性平衡的分析

PDF
TL;DR我们研究了不同的模型架构、训练目标、超参数设置和解码过程对自动生成图像标题多样性的影响，结果显示简单解码方法结合低温度是产生多样且准确的标题集的一种竞争性和快速方法；使用强化学习的 CIDEr-based 奖励训练会损害生成器的多样性，不能通过调整解码参数来缓解。此外，我们提出了一个新的指标 AllSPICE，通过一个单一的值来评估一组标题的准确性和多样性。
发现论文，激发创造
  • 关于图像标注中的多样性：如何像人类一样描述

    本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

    Mar, 2019

  • 走向对图片的独特和信息丰富的字幕

    本文通过实证实验对现代的图像标注系统和评价指标进行了分析，并引入了一种新的独特度度量标准 SPICE-U，该标准通过使用对象探测器以及使用相互信息作为重新排序目标来改善现有的标注模型。

    Sep, 2020

  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020

  • 通过对抗式学习生成多样且准确的视觉描述

    提出一种基于条件生成对抗网络的比较式对抗学习框架，能够在图像描述任务中生成不仅准确而且多样化的描述语句。

    Apr, 2018

  • 标题：字幕中的内容？数据集特定的语言多样性及其对视觉描述模型和度量的影响

    研究自动视频描述领域的发展，发现数据集所具有的语言多样性是影响生成泛化性通用和无信息的描述文本的关键因素。推荐多样性采集新数据的方法和应对当前模型和指标多样性有限的后果的方法和方法。

    May, 2022

  • 基于词性引导的快速、多样化和准确的图像字幕生成

    本文提出了一种新的图像描述生成方法，先预测图像的意思概要，再基于该概要生成文本，相比于传统 beam search 的方法，本文方法在文本多样性、计算效率和生成的描述准确性方面都有明显提高。

    May, 2018

  • 神经生成的简单快速多样解码算法

    该论文提出了一种简单快速的解码算法，在神经生成过程中促进多样性，评估结果表明，多样性解码有助于各种任务，特别是在需要重新排名的任务中，并进一步提出了一种能够自动调整不同输入的多样性解码速率的变化，通过强化学习技术实现，观察到进一步的性能提升。

    Nov, 2016

  • 条件语言模型的不同解码方法比较

    调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

    Jun, 2019

  • 通过比较和重新加权进行独特图像字幕

    本研究旨在通过比较和重新加权计算一组相似图像来提高图像字幕的独特性。我们提出了一种称为 CIDErBtw 的独特性度量，用于衡量字幕与类似图像的独特性，并在训练期间重新加权了每个人工注释，以提高生成的字幕的独特性和准确性。

    Apr, 2022

  • 通过强化行列式点过程实现多样化准确的图像描述

    通过结合 DPP 和强化学习，提出了一种 R-DPP 方法，以生成一个高质量和多样性的图像标注集合，并表明其在准确性和多样性方面的表现优于 GAN、VAE 等基于噪声的控制信号。

    Aug, 2019