知识增强型视觉叙事
提出了一种基于知识增强的注意力网络,采用分组语义模型,能够生成比现有方法更合理和流畅的多模态视觉叙事,并在客观和主观评估指标上显示出优越性能。
Mar, 2022
该研究综述了结构化知识增强故事生成研究领域,总结了现有方法是如何将结构化知识融入到故事生成中的,涉及故事语料库、结构化知识数据集和评价指标,并探讨了知识增强故事生成的挑战和未来研究方向。
Dec, 2022
将图像序列转化为可解释的视觉前缀,结合预训练语言模型和规划,利用问题 - 答案对作为蓝图计划选择显著的视觉概念,并确定它们如何组织成故事,生成更连贯、有趣和自然的故事。
Oct, 2023
提出了一种通过对文本输入进行多阶段知识图谱生成的系统,并通过使用预训练的语言模型生成图节点,然后使用简单的边构造头部来使得从文本中提取知识图谱效率更高。该模型在 WebNLG 2020 挑战数据集,New York Times(NYT)和大规模 TekGen 数据集上表现不错,超过现有基线。
Nov, 2022
研究了一种生成序列图像以可视化故事的任务,提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型,并提供了相应的评价指标和对这些指标的直观检验。
May, 2021
该研究探讨了故事生成:创作系统可以在一个主题上构建连贯流畅的文本段落,使用一个大规模的数据集,通过分层式故事生成模型,研究人员成功地实现了模型融合,引入了新的门控多尺度自注意机制,并在自动化和人工评估中实现了显著的改进。
May, 2018
SCO-VIST 框架使用图表示形式,结合语义和基于发生的边权重,通过 Floyd-Warshall 算法生成视觉叙事。在多个指标上,该框架在视觉根植性、连贯性、多样性和人性上优于其他模型,经过自动和人工评估。
Feb, 2024
本研究提出了一种新的视觉叙述方法,引入话题描述任务来检测图像流的全局语义背景,并通过多代理通信框架将话题描述生成器与故事生成器合并学习,实验结果表明该方法在生成故事方面具有比现有方法更高的质量。
Nov, 2019
本文研究了将知识图谱转化为自然语言文本的任务,主要讨论了广泛的开放领域大规模语言生成的挑战,将知识图谱转化为自然语言文本,从而提高了语言模型的事实准确性和减少了毒性。通过对开放领域 QA 和 LAMA 知识探测的任务进行评估,表明该方法在文本检索方面有很大的优势。
Oct, 2020