创意图片字幕的循环机器改写

ACLNov, 2021

Machine-in-the-Loop Rewriting for Creative Image Captioning

Vishakh Padmakumar, He He

TL;DR该研究旨在通过机器辅助写作使人类更有效地完成写作任务；研究者提出一种重写模型，允许用户在原始草稿的指定文本范围内引入局部描述性和比喻性元素，并评估模型在创意图像字幕任务上协作的能力。在与传统模型和用户单独完成任务的比较中，模型获得更高评价，并促使用户编写更具有描述性和比喻性的字幕。

Abstract

machine-in-the-loop writing aims to enable humans to collaborate with models to complete their writing tasks more effectively. Prior work has found that providing humans a machine-written draft or sentence-level continuations has limited success since the generated text tends to deviat

machine-in-the-loop writing collaboration rewriting model descriptive elements figurative elements

发现论文，激发创造

将人类放入图像字幕循环中

通过人工反馈训练图像字幕模型，使其适应特定用户数据，并采用稀疏记忆重播组件避免灾难性遗忘，从而实现自定义图像字幕模型。

Jun, 2023

想象先行：引导式开放式文本生成

本文提出了 iNLG，这是一种使用机器生成的图像来指导语言模型进行开放式文本生成的方法。实验和分析证明 iNLG 在打开式文本生成任务（包括文本完成、故事生成和概念到文本的生成）中的有效性，包括少量数据和全部数据情况。无论是自动计量还是人类评价，都验证了我们 iNLG 所生成的文本片段的连贯性和信息量，同时也显示出轻微的退化。

Oct, 2022

通过自然语言反馈教机器描述图片

本研究通过引入人在环路中，使得机器人可以通过自然语言意见反馈学习多层级基于短语的图像字幕生成，展示出比独立编写的人类字幕表现更好的性能

Jun, 2017

交互式机器学习：图像字幕生成

本文提出了一种交互式学习的图像标题生成模型，该模型使用数据增强方法来扩大人类反馈所提供的有效学习信息，并智能地将其集成到模型中，本文重点讨论了其反馈收集、数据增强和模型更新三个关键组件的实现方法。

Feb, 2022

个性化文本生成的自动提示改写

通过自动修订提示符来进行个性化文本生成的研究。

Sep, 2023

人机交互的机器创造力

该研究探讨了在艺术创作中将人类专业知识与 AI 模型相结合，以实现更具表现力、细腻和多模态的生成作品的方法，并提出 Human-in-the-Loop 的设计，以增加人类与 AI 之间的互动，从而帮助未来的 AI 系统更好地理解我们自己的创造和情感过程。