Mar, 2022

VScript: 可控制的视觉化演示脚本生成

HTML
PDF
TL;DRVScript是一种可控的管线工具，采用分层结构和创新方法实现电影剧本的自动化生成，可以按照分类和输入的起始词方便地掌控生成剧本的主题发展，此方法在剧本自动生成方面成果优于先前的实验，并且可以在电影风格控制上最大程度的满足用户的需求。
发现论文，激发创造
  • 叙事引导的剧本生成

    本文提出了一种基于故事情节的对话驱动模型ScriptWriter，并通过构建一个大规模的故事情节数据集GraphMovie来验证其有效性。实验结果表明，相比于仅将故事情节作为上下文使用的基线模型，基于故事情节的对话驱动模型能够显著提高对话系统的性能。

    May, 2020

  • Plug-and-Blend: 一种可控的混合控制代码故事生成框架

    通过Plug-and-Blend框架在人工输入多个控制代码的情况下，通过使用不同的生成语言模型进行自动故事生成并不断优化和生成流畅的故事，实现了主题的宽松和细粒度控制，并实现了叠加和混合主题。

    Mar, 2021

  • 对话生成的长期控制：方法与评估

    本文提出了约束性的、long-term控制对话生成的问题，并提出了一种检测其性能的新指标，并采用改进的基于检索的方法，该方法通过修改logits来提高长期控制的生成性能。通过在三个面向任务的对话数据集上的实验证明了我们的指标相对于当前的替代方案更好地评估了对话控制，并且我们的方法优于最先进的约束性生成基线。

    May, 2022

  • 对话脚本：使用对话代理生成脚本

    使用拥有不同人格特征的agents, 并采用模拟戏剧网络的方法生成剧本, 在多项标准上经过自动和人类评估, 显示该方法优于基于vanilla-GPT2的基线, 并引入新的度量标准来评估对话的一致性, 并展示其有效性。

    Jun, 2022

  • 基于人物角色的故事生成系统：利用策划好的图像序列激发创作

    本研究设计了一种新的图像故事生成数据集Visual Writing Prompts，通过众包方式收集与每个图像序列对应的12K个故事，并基于角色一致性提出了一种新的故事生成模型，与现有技术相比，生成的故事更为连贯、有更强的叙述性和视觉基础。

    Jan, 2023

  • MovieFactory:利用大型语言和图像生成模型从文本自动生成电影

    本篇论文介绍了MovieFactory框架，用于根据自然语言需求生成影视作品，其中自动化电影生成模型、自然语言处理方法、文本到图像模型、音频检索等方法都有所涉及。

    Jun, 2023

  • WavJourney：利用大型语言模型进行音频创作

    利用大型语言模型创造音频内容，通过WavJourney系统，实现智能音频内容生成，促进人机合作创作，拓展多媒体内容创作领域。

    Jul, 2023

  • 黑泽明》：编剧助手

    我们提出了一个名为KUROSAWA的基于人工智能的剧本创作工作台，它主要处理情节生成和剧本生成的任务。我们使用故事的四个行为结构手动注释了1000个数据集，并训练了GPT-3模型，用于生成情节和场景，并提供给ErosNow媒体平台的编剧进行评估和使用。

    Aug, 2023

  • MULTISCRIPT: 支持开放领域日常任务的多模态脚本学习

    通过建立MultiScript基准测试，我们提出了两种引入任务相关知识的多模态生成框架，这些框架显著提升了脚本生成和后续步骤预测的性能。

    Oct, 2023

  • 观看、聆听和识别：基于字符的音频视觉字幕

    通过自动化、音频视觉的方法，本研究提出了一种生成具有精确语音时间戳和角色标识的对话全文本的字幕的方法，无需面部检测或追踪，旨在提高现代流媒体服务中大量视频的可访问性。

    Jan, 2024