Jan, 2023

极大预训练语言模型能否通过少量示例学习叙事？

PDF
TL;DR本文对使用 VLPLMs 和 SOTA 模型在三个不同的数据集上进行的故事生成能力进行了自动和人为评估，结果表明 VLPLMs 生成的故事比其他故事生成模型更高质量，有一定程度上的过人之处，但也揭示了在涉及世界知识的情况下容易 “抄袭” 真实故事的现象。
pre-trained language modelsstory generationvlplmsautomatic evaluationhuman evaluation
发现论文，激发创造
  • 大规模预训练语言模型是否能成为更好的讲故事者？

    比较已经经过广泛预训练的 OpenAI GPT2-117 和最先进的神经故事生成模型，发现前者在上下文条件、事件排序和使用不寻常词汇方面具有优势，但使用最大似然解码算法时可能会出现重复的低多样性文本。

    Sep, 2019

  • 预训练语言模型的剧情写作

    提出了一种新方法 ScratchPlot，使用 Pre-trained language models，利用 content planning 生成故事情节，并使用 generate-and-rank approach 对所生成的（story, ending）pairs 进行排序。实验表明，在人类评估和自动评估中都获得了更好的结果。

    Jun, 2022

  • 大型语言模型作为一致的故事可视化器

    StoryGPT-V 使用潜在扩散和大语言模型的优点，生成具有一致且高质量角色的图像，通过解决指代消解和对上下文的理解来提高生成准确性和忠实度。模型在视觉故事可视化上表现优异，并具有较低的内存消耗。

    Dec, 2023

  • TinyStories: 语言模型有多小才能够流利地说英语？

    本文介绍了 TinyStories 数据集和一种新的评估语言模型的方法，该数据集使用 GPT-3.5 和 GPT-4 生成，只包含 3 到 4 岁儿童通常理解的单词。使用 TinyStories 可以训练和评估比现有模型小得多的语言模型，并引入新的评估范式来评估这些模型的语言能力和多维度的得分，例如语法、创造性和连贯性等。这可以促进低资源或专业领域的语言模型的发展、分析和研究，并提高对于语言模型能力的认识。

    May, 2023

  • 语言模型是否喜欢自己的故事？用于自动故事评估的大型语言模型的激励

    自动故事评估与生成在社交交互中起到重要作用，研究表明大语言模型能够替代人工评注者，但仍存在解释答案的困难。

    May, 2024

  • 创造扣人心弦的故事：利用大型语言模型的迭代规划

    使用迭代提示基于规划的方法，这篇论文首次尝试使用大型语言模型进行悬疑故事生成，并通过广泛的人类评估证明了方法的有效性。

    Feb, 2024

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020

  • 使用伪重述的方式进行后训练对话摘要

    该论文提出了一种基于预训练语言模型转换对话到叙述语言的技术，利用此技术可以显著提高对话摘要的性能，而且具有低的实施成本。

    Apr, 2022

  • 大型语言模型中的叙事处理分析：使用 GPT4 测试 BERT

    使用基于 transformer 的大型语言模型（LLMs）的 ChatGPT 作为研究对象，通过分析 BERT 隐藏单元的激活模式，发现其在不同层次上根据文体变异（1）和叙事内容（4-5）进行聚类，揭示了 LLMs 内部的区别任务处理机制，为深入研究人类语言处理和认知过程提供了潜力。

    May, 2024

  • 基于独立短句序列的故事生成

    本论文提出并解决了通过两种文本生成范例 —— 统计机器翻译和深度学习，生成连贯故事的任务。使用两种 SMT 方法和一个深度 RNN 架构，将可变长度的输入描述编码为对应的潜在表示，并解码以生成形式完备的故事总结。在一个公开数据集上，利用常见的机器翻译和总结评估方法证明了所建议方法的有效性。

    Jul, 2017