KDDDec, 2021

TopNet: 从神经主题模型学习生成长篇故事

PDF
TL;DR该研究提出了一种使用神经主题建模来生成骨架单词的方法，以解决自然语言处理中长篇故事生成由于输入信息稀疏而存在的问题，并在自动和人工评估中显著优于现有模型。
long story generationnatural language processingneural topic modelingskeleton word selectionstate-of-the-art models
发现论文，激发创造
  • 分层神经故事生成

    该研究探讨了故事生成：创作系统可以在一个主题上构建连贯流畅的文本段落，使用一个大规模的数据集，通过分层式故事生成模型，研究人员成功地实现了模型融合，引入了新的门控多尺度自注意机制，并在自动化和人工评估中实现了显著的改进。

    May, 2018

  • 基于独立短句序列的故事生成

    本论文提出并解决了通过两种文本生成范例 —— 统计机器翻译和深度学习，生成连贯故事的任务。使用两种 SMT 方法和一个深度 RNN 架构，将可变长度的输入描述编码为对应的潜在表示，并解码以生成形式完备的故事总结。在一个公开数据集上，利用常见的机器翻译和总结评估方法证明了所建议方法的有效性。

    Jul, 2017

  • 神经故事生成中预测可解释情节的学习

    本文提出了一种基于潜在变量模型的神经故事生成方法，采用外部摘要模型指导该方法从训练数据中学习生成具有可解释高级情节的概述，并在自动和人类评估中取得了显著的改进。

    Dec, 2019

  • 基于层级覆盖注意力的神经关键词生成：选择、提取和生成

    本研究提出了一种基于深度神经网络的自动关键词提取模型 SEG-Net，其使用包含两个部分的架构进行文本抽取和生成。实验表明该模型在科学和网络文档中的自动关键词提取方面性能卓越。

    Aug, 2020

  • LongStory: 连贯、完整且长度可控的长篇故事生成

    我们提出了 LongStory，一种用于连贯、完整且受长度控制的长篇故事生成的方法。它引入了两种新方法：长期和短期上下文权重校准器（CWC）和长篇故事结构位置（LSP）。在多个数据集上训练，LongStory 在连贯性、完整性、相关性和重复性方面优于其他基线，包括强大的故事生成器 Plotmachine。我们还对每个数据集进行了零样本测试，评估该模型在超出其训练数据范围的情况下预测结果的能力，并通过与我们模型的变体进行比较来验证我们的方法。

    Nov, 2023

  • 极大预训练语言模型能否通过少量示例学习叙事？

    本文对使用 VLPLMs 和 SOTA 模型在三个不同的数据集上进行的故事生成能力进行了自动和人为评估，结果表明 VLPLMs 生成的故事比其他故事生成模型更高质量，有一定程度上的过人之处，但也揭示了在涉及世界知识的情况下容易 “抄袭” 真实故事的现象。

    Jan, 2023

  • 通过建模句子级和语篇级连贯性进行长文本生成

    该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

    May, 2021

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020

  • 结构化故事生成策略

    本研究探索了一种新型的粗粒度到细粒度的模型，可以生成故事文本，并通过抽象行为和实体来分解故事，生成谓词 - 参数结构的文本，最终替换实体占位符。经过广泛的分析和人工评估，我们的方法可以提高生成的故事中事件和实体的多样性和连贯性。

    Feb, 2019

  • 数据到文本生成的端到端内容和计划选择

    本文介绍了多种扩展序列 - 序列模型的方法，旨在解决从结构化数据中生成流畅自然语言的问题，特别关注潜在内容选择过程的变体，包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法，以鼓励模型在训练过程中学习不同的句子模板，并通过比较其生成的文本在五个自动度量标准和人类评估中的结果，表明这些技术可以提高生成文本的质量。

    Oct, 2018