- 基于视觉输入的故事生成:技术、相关任务和挑战
从视觉数据中创建引人入胜的叙述对于自动化数字媒体消费、辅助技术和互动娱乐至关重要。该研究综述了用于生成这些叙述的方法学,重点讨论其原理、优势和局限性。该综述还涵盖了与自动故事生成相关的任务,如图像和视频字幕以及视觉问题回答,以及没有视觉输入 - 借助解答集编程指导和多样化基于 LLM 的故事生成
使用回答集编程(ASP)的高层次和抽象符号规范引导和多样化基于 LLM 的故事生成,产生比未引导的 LLM 更多样化的故事,并通过代码摘录证明 ASP-based outline generation 相较于完整的叙事规划具有改进的紧凑性和 - 一个增强的跨注意力模型用于基于事件触发的上下文感知故事生成
我们引入了一种新颖的神经生成模型 EtriCA,它通过采用交叉注意机制将上下文特征映射到事件序列上,通过残差映射增强了生成故事的相关性和连贯性。我们进一步采用了一个后训练框架对大规模书籍语料库进行知识增强,使得 EtriCA 能够适应更广泛 - 因果故事:利用参数有效调整进行视觉故事合成的局部因果注意力
通过考虑先前标题、帧和当前标题之间的因果关系,Causal-Story 模型赋予权重,以生成当前帧,从而提高了故事生成的整体一致性。
- MM纯文本训练视觉叙事
利用跨模态预训练的 CLIP 模型,结合纯文本数据训练的视觉条件故事生成器及不依赖训练的视觉条件规划器,提出了一种仅使用文本数据进行训练的视觉叙事方法,有效提高了视觉叙事的泛化能力。在 VIST 基准上进行的广泛实验以及表达多样性和人工评估 - DeltaScore:通过不同的扰动评估故事生成
该论文介绍了一种针对故事生成的评估方法 deltascore,它利用扰动来评估细颗粒度的故事因素,并表明其与人类判断的相关性。
- 稳定熵假设和熵感知解码:鲁棒自然语言生成的分析与算法
本论文提出,当语言生成模型用于文本完成,故事生成或对话建模等开放性文本生成问题时,最先进的语言生成模型可能会退化。我们发现近似平坦熵带内的生成更为 “人类化”,而模型违反熵的这些限制通常会导致退化。因此,我们提出了一种基于熵的解码算法,以生 - 极大预训练语言模型能否通过少量示例学习叙事?
本文对使用 VLPLMs 和 SOTA 模型在三个不同的数据集上进行的故事生成能力进行了自动和人为评估,结果表明 VLPLMs 生成的故事比其他故事生成模型更高质量,有一定程度上的过人之处,但也揭示了在涉及世界知识的情况下容易 “抄袭” 真 - 小红帽环游世界:基于大型语言模型的跨语言故事策划与生成
研究跨语言故事生成中采用规划大语言模型来研究故事生成最佳方案,考虑了四种规划策略并系统分析了不同策略的输出差异,表明以问答对形式制定计划可生成更连贯的故事,同时给故事创作者更多的控制权。
- 未来视角:利用大型预训练语言模型进行动态故事生成
本文提出了一种基于预训练生成式 transformer 网络的方法 Future Sight,以实现未来条件限制的故事生成任务,在保留自注意机制的同时,增加了对未来情节的建模,使生成内容更有逻辑性和连贯性。
- EMNLP走向基于字符间关系的故事生成
该论文介绍了一项关于人际关系建模的任务,提出了一种基于关系选择器和故事继续器两个主要组成部分的故事生成算法 ReLiSt,在自动和人工评估中展示出了其生成的故事能够更加忠实于期望的关系而不影响内容质量,推断过程中的关系分配带来了 ReLiS - 通过语法依赖和语义意识提高中文故事生成
本文研究生成长篇叙述性内容的故事生成问题,提出了一种新的生成框架,通过依存关系增强机制和同义词去噪训练增强语义表示学习,显著提高了中文故事生成模型性能。
- EMNLPRe3: 采用递归重促和修改生成更长故事
本文介绍了如何使用 Recursive Reprompting 和 Revision 框架 (Re3) 来自动生成长篇故事。该方法使用通用语言模型构建结构化总体计划,并在当前情境信息注入语言模型之前,反复注入来自计划和当前故事状态的情境信息 - COLINGCHAE:使用角色、动作和情感进行精细可控的故事生成
该论文提出了一种用于故事细粒度控制的模型,它允许根据个性化指导生成定制故事,实验证明其具有强大的可控性。
- 预训练语言模型的剧情写作
提出了一种新方法 ScratchPlot,使用 Pre-trained language models,利用 content planning 生成故事情节,并使用 generate-and-rank approach 对所生成的(stor - ACLRSTGen: 为长文本生成器注入细粒度可解释控制
本文提出了一种基于修辞结构理论(RST)的框架 RSTGen 来控制生成的长文本的话语结构、语义和主题,应用于论证生成和故事生成等挑战性任务,评估结果表明我们的模型在人工评估相关度方面表现优异同时具有更多控制生成文本的优势。
- ACL通过角色指导的规划,控制故事生成中主角角色的表现
本文提出 CONPER 模型,以控制主角人物的性格,生成一个情境和人物描述的故事,并通过事件序列展示指定的性格特征。自动和手动评估结果表明,CONPER 模型在生成更连贯和可控的故事方面优于现有基准。
- COMPASS:一种创意支持系统,警告小说家未被注意到的缺失内容
本研究提出 VN-MPP 用于预测多个缺失的句子或判断故事是否存在缺漏,进而开发了创造性写作支持系统 “COMPASS”,用户实验结果确认该系统的功效和实用性。
- 目标导向的故事生成:用强化学习增强生成式语言模型
本文介绍了两种自动化技术,基于深度强化学习和奖励塑造来控制计算机生成的故事的情节,其中一种利用 PPO 对现有的基于变压器的语言模型进行微调,以生成既能连续文本又能寻求目标的故事;而另一种从不断展开的故事中提取出一个知识图谱,由含有图形注意 - ACLOpenMEVA:用于评估开放式故事生成指标的基准
该研究提出了 OpenMEVA 标准,用于评估故事生成指标的能力,揭示了现有的自动度量标准与人类评估的相关性不足,并且缺乏推理能力,该研究为进一步研究自然语言生成模型和指标提出了启示。