MovieQA数据集旨在评估从视频和文本中自动理解故事。该数据集包含大量关于408部电影的14,944个问题，是多种信息源的独特组合——视频剪辑，情节，字幕，脚本和DVS等。研究人员对其进行了统计和方法分析，可扩展为现有QA技术，以展示具有这种开放式语义的问答是困难的。

Dec, 2015

本研究针对长篇叙述性文章提出了一种基于叙述结构的提取式摘要模型。通过将叙述结构转化为关键节点，导入非监督和监督提取式摘要模型，实验结果表明，潜在节点与CSI剧集的重要方面相关，并通过提高提取式算法的完整性和多样性改善了摘要性能。

Apr, 2020

使用多模态信息构建稀疏电影图来识别电影中的转折点，从而创建比基于序列模型和通用概括算法更具信息量和完整性的电影概括。

Dec, 2020

该研究介绍了一个摘要数据集，提供了一个具有挑战性的抽象摘要测试平台，并通过对神经模型和邻近算法等多种方法的评估，展示了神经模型无法充分利用输入文本的事实，同时证明了我们的非最优模型在生成忠实的情节事件方面具有竞争力，并可以从更好的内容选择器中受益。

Apr, 2021

本研究介绍了一种新的包含长型叙述文本的数据集BookSum。这个数据集覆盖了文学领域的原始文件，并包含三种难度递增的高度抽象的人工撰写的摘要，涵盖段落、章节和整本书的水平。通过该任务的训练和测试，本研究基于此数据集建立了多个抽取和摘要式自动文摘模型。

May, 2021

该研究收集、预处理并公开发布了一个视频 - 语言故事数据集(SyMoN)，包含 5,193 个受欢迎电影和电视剧的视频摘要，旨在为多模态故事理解的进展打下基础。

Mar, 2022

该论文提出了一个名为NarraSum的大规模叙述性摘要数据集，在多种影视类型中收集了12.2万个叙述文档及其对应的提取式摘要。实验证明，与最先进的摘要模型相比，人类在NarraSum上存在较大的性能差距。我们希望该数据集能够促进未来的摘要研究以及自然语言理解和生成的更广泛研究。

Dec, 2022

这篇论文主要研究了如何用模块化方法总结电视节目，涉及人工智能研究中的复杂推理、多模态和长篇叙述等关键领域。作者提出了一种模块化方法，通过不同组件执行特定子任务，可以比端到端方法更灵活地实现。论文还引入了一个新的指标——基于PREFS（Summary Facts的精确度与召回率评估）来衡量生成摘要的精确度与召回率，并将其分解为原子事实。在最近发布的 SummScreen3D 数据集上测试，该方法比其他模型生成的摘要具有更高的质量，这是通过 ROUGE 评估和新的基于事实的指标得出的。

Mar, 2024

通过提取场景的显著性，针对电影剧本等长篇故事性文本进行抽象概括是具有挑战性的。本研究引入了一个包含100部电影人工标注显著场景的数据集，提出了一个两阶段的抽象概括方法，首先识别出剧本中的显著场景，然后利用这些场景生成摘要。基于问答的评估结果显示，我们的模型优于以往最先进的摘要方法，并且比将整个剧本作为输入的模型更准确地反映了电影的信息内容。

Apr, 2024

构建大规模多语言视频故事数据集M-SYMON，包含13166个影片摘要视频和101.5小时视频的精细视频文本对应注释。使用SyMoN人工标注数据训练的结果，在剪辑准确率和句子IoU得分上超过SOTA方法分别达到15.7和16.2个百分点，证明了注释的有效性。同时，我们提供了六种具有不同多语言训练策略的基线方法，比较它们在单语内和跨语言设置中的性能，展示了多语言视频文本对齐的挑战。

Jun, 2024