AAAINov, 2019

使用离线人类反馈加强图像字幕生成器

PDF
TL;DR本文介绍了一种利用人力评分提高图像字幕模型的方法，通过策略梯度方法在离线强化学习框架下最大化人类评级作为奖励进行优化；实验结果表明该方法可以推广到之前未见过的图片集，具有较好的泛化性能。
image captioninghuman ratingreinforcement learninggeneralizationpolicy gradient
发现论文，激发创造
  • 利用强化学习与人类反馈增强图像字幕生成

    本研究探索了一种潜在的方法，通过使用 Flickr8k 数据集，将监督学习和强化学习与人类反馈相结合，以提高深度神经网络模型生成符合人类偏好的标题的性能，并引入了一种新的损失函数，能够基于人类反馈优化模型。

    Mar, 2024

  • 基于大规模人类评估的图像标题质量评估

    该论文提出了一种基于人类评估和众包数据的图片描述质量评估模型，并证明模型能够有效地检测和滤除低质量的图片描述，从而提高了图片描述系统的用户体验。

    Sep, 2019

  • 序列型演员 - 评论家算法在图像字幕生成中的应用

    本研究探究了基于 actor-critic 强化学习的图像标题生成模型的训练方法，通过计算每个 token 的优势和值实现直接优化语言质量指标，取得了在 MSCOCO 数据集上的最先进性能。

    Jun, 2017

  • 交互式机器学习：图像字幕生成

    本文提出了一种交互式学习的图像标题生成模型，该模型使用数据增强方法来扩大人类反馈所提供的有效学习信息，并智能地将其集成到模型中，本文重点讨论了其反馈收集、数据增强和模型更新三个关键组件的实现方法。

    Feb, 2022

  • 通过自然语言反馈教机器描述图片

    本研究通过引入人在环路中，使得机器人可以通过自然语言意见反馈学习多层级基于短语的图像字幕生成，展示出比独立编写的人类字幕表现更好的性能

    Jun, 2017

  • 基于评级的强化学习

    本文提出了一种新的基于评分的强化学习方法，利用人类评分来获取强化学习中的人类指导。该方法与现有的基于偏好和基于排名的强化学习范例不同，通过对样本轨迹的人类评估而非样本对的相对比较，基于人类评分构建了新的预测模型和新的多类损失函数。我们通过基于合成评分和真实人类评分的几个实验研究来评估新的基于评分的强化学习方法的有效性和益处。

    Jul, 2023

  • 指导图像字幕模型生成更具体的字幕

    基于图像的标题生成任务中，我们展示了通过微调自回归标题模型来生成更具体的标题，并且在解码过程中应用语言模型指导，从而在参考自由和参考依据的标题度量指标之间取得一定的平衡。

    Jul, 2023

  • 将人类放入图像字幕循环中

    通过人工反馈训练图像字幕模型，使其适应特定用户数据，并采用稀疏记忆重播组件避免灾难性遗忘，从而实现自定义图像字幕模型。

    Jun, 2023

  • 一图胜千言：原则性重描述提升图像生成

    通过重新标注语料库并以此为基础训练文本到图像模型，可以显著提高模型的图像质量和语义对齐，并减少训练与推理之间的差异，增加样例效率，使模型更好地理解标题和图像之间的关系。

    Oct, 2023

  • 图像字幕的透明人工评估

    本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

    Nov, 2021