May, 2024

人类和大型语言模型中的分歧创造力

PDF
TL;DR最新研究表明，大型语言模型（LLMs）在创造性方面可以超越人类的能力，特别是在发散性思维和创造性写作等特定创造性任务方面，这项研究使用创造力科学的最新进展构建了一个评估 LLMs 创造力的深入分析框架与一个包含 10 万人的实验数据集进行对比，既为更具创造力的 LLMs 的发展开辟了新的路径，也促进了对由人类独特的创新思维过程构成的与那些可以人工生成的元素的更细致的研究。
large language modelscreativitydivergent thinkingstate-of-the-art llmsquantitative benchmarking framework
发现论文，激发创造
  • 关于大型语言模型的创新力

    本文分析了大型语言模型在创造性写作方面的应用，讨论了其中的挑战，探讨了机器创造性中的一些问题，以及这些技术在创意产业中的社会影响。

    Mar, 2023

  • 大型语言模型中创造力的评估与理解

    本研究旨在建立一个有效的框架，评估大型语言模型的创造力水平，通过改编 Torrance 创造性思维测试方法，研究评估了各种任务中的创造性表现，包括流畅性、灵活性、独创性和详尽度等 4 个标准，并发现大型语言模型在独创性方面表现不足，但在详尽度方面优秀，还揭示了模型的创造力受提示和角色扮演设置的显著影响，多个模型合作也可以增强独创性，此外，人工评估和大型语言模型对创造力的影响存在一致性，强调了大型语言模型设计对创造力的重要影响。

    Jan, 2024

  • 人类和大型语言模型中的创造过程特征

    大型语言模型在创造性任务中表现得相当有创造力，但研究关于 LLM 创造力的过程主要集中在产品上，对创造过程的关注较少。我们提供了一种自动化方法来描述人类和 LLM 如何在交替使用任务和语言流利性任务中探索语义空间，并与其在行为上的对比。我们使用句子嵌入来识别响应类别和计算语义相似性，进而生成跳转轮廓。我们的结果证实了人类之前的工作，报告了持久性（对少量语义空间进行深度搜索）和灵活性（在多个语义空间中广泛搜索）两种创造力路径，两种路径都导致相似的创造力得分。LLM 在坚持性和灵活性路径上存在偏差，且在不同任务中变化。尽管 LLM 群体与人类个体相匹配，它们与创造力的关系不同，表现更灵活的模型在创造力方面得分更高。我们的数据集和脚本可以在 GitHub 上获得。

    May, 2024

  • 从文学角度评估大型语言模型的创造力

    该研究通过一个深入的案例研究，评估了大型语言模型在创意写作过程中作为辅助工具的潜力。研究中开发了交互式多声音提示策略，交织了背景描述、指导写作的指令、目标风格的文本示例和给定示例的关键讨论，并从文学批评的角度以及计算创造力的角度进行了定性评估。研究结果支持大型语言模型能够实现高级提示的观点。

    Nov, 2023

  • 大语言模型时代的创造力支持：涉及新兴作家的实证研究

    通过实证用户研究 (n=30)，我们调查了现代大型语言模型 (LLMs) 在协助专业作家方面的效用，发现作家在规划、翻译和审阅等认知活动中都寻求 LLMs 的帮助，尤其在翻译和审阅方面 LLMs 更为有帮助，同时我们的研究结果也强调了利用 LLMs 进行创意写作辅助的未来研究方向。

    Sep, 2023

  • 探索大型语言模型在艺术创作中的潜力：创意编程中的合作与反思

    大型语言模型的艺术潜力在创意编码中的艺术家与人工智能协作中被广泛利用，我们的研究揭示艺术家创作过程中这种协作方式中的反思类型，比较了整个程序和多个子任务两种常见的协作方式，并通过实验数据和定性访谈展示了艺术家在两种不同方法中的不同反思激发，并显示了反思类型与用户表现、用户满意度和主观体验的相关性。同时，我们从艺术家的视角提供了人工智能协作的关键观点，并为未来 AI 辅助创意任务的设计提供了建议。

    Feb, 2024

  • 利用大型语言模型进行结构化设计空间的生成和探索，用于人机共创

    通过提出一个框架，使用户能够无缝地探索、评估和综合多种响应，并通过 Luminate 互动系统与 8 名专业作家的用户研究展示了这个框架的可行性和有用性，我们推进了与大型语言模型的创造性任务互动的方式，引入了一种利用大型语言模型的创造潜力的方法。

    Oct, 2023

  • LLM 讨论：通过讨论框架和角色扮演提升大型语言模型的创造力

    通过模拟从不同背景和视角的参与者中进行互动讨论来提升大型语言模型创造力，采用三阶段的 LLM 讨论框架，引入角色扮演技术，实现了创造性答案的多样性、多维度的交流，通过多项创造力度量指标超越了现有的单一和多个 LLM 框架。

    May, 2024

  • 大型语言模型探索多样化设计解决方案的能力

    通过调整参数和不同的提示工程技术，探索大型语言模型在生成多样化设计方案方面的有效性，并通过比较多个参数和提示工程方法的组合，以及使用相同多样性指标与人工设计方案进行比较，结果表明人类生成的解决方案在所有设计主题上始终有更高的多样性评分。

    May, 2024

  • 潜在的数学和科学问题头脑风暴伙伴: LLMs

    利用最新的大型语言模型（LLM），尤其是 GPT-4，我们综合案例研究共同探索当前最先进的 LLM 在人类集体头脑风暴中的能力和限制。

    Oct, 2023