Jun, 2024

HoLLMwood: 大型语言模型通过角色扮演释放剧本创作的创造力

PDF
TL;DRHoLLMwood 是一个自动化框架，通过将大型语言模型分配到不同的角色，包括作家、编辑和演员，来释放它们的创造力并探索其在编剧方面的潜力，研究结果表明 HoLLMwood 在连贯性、相关性、趣味性和整体质量方面明显优于强基准。
generative ailarge language modelsscreenwritingautomated frameworkhollmwood
发现论文，激发创造
  • 关于大型语言模型的创新力

    本文分析了大型语言模型在创造性写作方面的应用，讨论了其中的挑战，探讨了机器创造性中的一些问题，以及这些技术在创意产业中的社会影响。

    Mar, 2023

  • 从文学角度评估大型语言模型的创造力

    该研究通过一个深入的案例研究，评估了大型语言模型在创意写作过程中作为辅助工具的潜力。研究中开发了交互式多声音提示策略，交织了背景描述、指导写作的指令、目标风格的文本示例和给定示例的关键讨论，并从文学批评的角度以及计算创造力的角度进行了定性评估。研究结果支持大型语言模型能够实现高级提示的观点。

    Nov, 2023

  • 大语言模型时代的创造力支持：涉及新兴作家的实证研究

    通过实证用户研究 (n=30)，我们调查了现代大型语言模型 (LLMs) 在协助专业作家方面的效用，发现作家在规划、翻译和审阅等认知活动中都寻求 LLMs 的帮助，尤其在翻译和审阅方面 LLMs 更为有帮助，同时我们的研究结果也强调了利用 LLMs 进行创意写作辅助的未来研究方向。

    Sep, 2023

  • 角色扮演的模版框架：生成与评估

    使用大型语言模型（LLM）构建角色扮演对话数据集并评估性能的框架，并使用召回导向的 Rouge-L 指标支持 LLM 评估器的结果。

    Jun, 2024

  • 大型语言模型中创造力的评估与理解

    本研究旨在建立一个有效的框架，评估大型语言模型的创造力水平，通过改编 Torrance 创造性思维测试方法，研究评估了各种任务中的创造性表现，包括流畅性、灵活性、独创性和详尽度等 4 个标准，并发现大型语言模型在独创性方面表现不足，但在详尽度方面优秀，还揭示了模型的创造力受提示和角色扮演设置的显著影响，多个模型合作也可以增强独创性，此外，人工评估和大型语言模型对创造力的影响存在一致性，强调了大型语言模型设计对创造力的重要影响。

    Jan, 2024

  • RoleLLM：大型语言模型角色扮演能力的基准、激发和增强

    RoleLLM 是一种框架，用于在大规模语言模型中评估和增强角色扮演能力。通过 Context-Instruct 和 RoleGPT，我们创建了 RoleBench，这是角色扮演的第一个系统性和细致的基于角色的基准数据集，该数据集包含 168,093 个样本。此外，通过 RoleBench 上的 RoCIT，我们获得了 RoleLLaMA（英文）和 RoleGLM（中文），显著增强了角色扮演的能力，甚至与使用 GPT-4 的 RoleGPT 的结果相当。

    Oct, 2023

  • LLM 讨论：通过讨论框架和角色扮演提升大型语言模型的创造力

    通过模拟从不同背景和视角的参与者中进行互动讨论来提升大型语言模型创造力，采用三阶段的 LLM 讨论框架，引入角色扮演技术，实现了创造性答案的多样性、多维度的交流，通过多项创造力度量指标超越了现有的单一和多个 LLM 框架。

    May, 2024

  • 人类和大型语言模型中的创造过程特征

    大型语言模型在创造性任务中表现得相当有创造力，但研究关于 LLM 创造力的过程主要集中在产品上，对创造过程的关注较少。我们提供了一种自动化方法来描述人类和 LLM 如何在交替使用任务和语言流利性任务中探索语义空间，并与其在行为上的对比。我们使用句子嵌入来识别响应类别和计算语义相似性，进而生成跳转轮廓。我们的结果证实了人类之前的工作，报告了持久性（对少量语义空间进行深度搜索）和灵活性（在多个语义空间中广泛搜索）两种创造力路径，两种路径都导致相似的创造力得分。LLM 在坚持性和灵活性路径上存在偏差，且在不同任务中变化。尽管 LLM 群体与人类个体相匹配，它们与创造力的关系不同，表现更灵活的模型在创造力方面得分更高。我们的数据集和脚本可以在 GitHub 上获得。

    May, 2024

  • 利用大型语言模型进行结构化设计空间的生成和探索，用于人机共创

    通过提出一个框架，使用户能够无缝地探索、评估和综合多种响应，并通过 Luminate 互动系统与 8 名专业作家的用户研究展示了这个框架的可行性和有用性，我们推进了与大型语言模型的创造性任务互动的方式，引入了一种利用大型语言模型的创造潜力的方法。

    Oct, 2023

  • Pron vs Prompt：大型语言模型是否能够在创意文本写作上挑战世界级小说作家？

    大型语言模型（LLMs）在创意文学写作方面仍远未能挑战顶级作家。通过与一位获奖小说家进行竞赛，该研究对 GPT-4 进行了评估，结果表明单纯扩大语言模型规模不能实现类似的创造性写作技巧。

    Jul, 2024