通过实证用户研究 (n=30)，我们调查了现代大型语言模型 (LLMs) 在协助专业作家方面的效用，发现作家在规划、翻译和审阅等认知活动中都寻求 LLMs 的帮助，尤其在翻译和审阅方面 LLMs 更为有帮助，同时我们的研究结果也强调了利用 LLMs 进行创意写作辅助的未来研究方向。

Sep, 2023

通过使用众包任务的具体和包含示例的指导性说明书，我们发现，使用众包管道作为大语言模型（LLMs）的提示可以产生比基线提示更多样化的信息。同时，我们还讨论了人类作者和 LLMs 生成的信息的其他影响。

Aug, 2023

研究通过以前辈生成的合成数据对大型语言模型进行训练的后果，重点关注这种训练方法对语言多样性的影响，特别是在逐步迭代的过程中。通过开展递归微调实验，应用一系列针对词汇、句法和语义多样性的新型度量标准，我们的研究发现模型输出的多样性在连续迭代中显著降低。这一趋势强调了在训练大型语言模型时使用前辈生成文本的潜在风险，特别是涉及保留语言丰富性方面。我们的研究突出了需要仔细考虑这种训练方法对大型语言模型的语言能力所产生的长期影响。

Nov, 2023

使用大型语言模型（LLM）作为创意支持工具（CST）可能会使用户感到更有创造力，增加每个用户建议的观点范围，但也可能使不同用户的建议观点趋同。通过进行一项 36 位参与者的用户比较研究，我们发现与同一类别的 CST 相比，使用 ChatGPT 的不同用户倾向于提出缺乏语义差异的想法。此外，ChatGPT 用户生成了更多更详细的想法，但对所生成的想法的责任感较低。我们讨论了这些发现对 LLM 基于 CST 的用户、设计师和开发人员可能产生的潜在影响。

Feb, 2024

本研究探讨了使用以某种观点为主导的人工智能语言模型的写作助手是否会影响用户的观点，通过在线实验发现，使用偏向一定观点的语言模型会影响用户的写作观点，推荐更加谨慎地监控和设计 AI 语言技术中的观点。

Feb, 2023

通过大规模用户研究，评估了大型语言模型在写作支持中存在的偏倚，并发现这些偏倚并不会对学生的写作反馈产生显著影响。

Nov, 2023

调查了大型语言模型（LLMs）在生成多样化观点和理由方面的能力，提出了一种基于标准提示技术来衡量透视多样性的方法，并发现利用句子嵌入和距离度量来衡量语义多样性是不够的。研究结果表明，LLMs 能够根据任务主观性的程度产生多样的观点。

Nov, 2023

最新的生成型大规模语言模型（LLM）被应用于数据增强任务，在这些任务中使用少量文本样本进行 LLM 重述，然后用于模型的微调。本研究调查了三种在众包中广泛使用的文本多样性激励方法：禁忌词、先前异常解决方案的提示和先前异常解决方案的链接，并使用它们作为指导 LLM 对文本数据集进行增强的一部分的指令，测量它们对生成文本的词汇多样性和下游模型性能的影响。我们比较了在 5 种不同 LLM 和 6 个数据集上的影响效果。研究结果表明，禁忌词对多样性的增加最为显著，而使用先前创建的重述作为提示时下游模型性能最佳。

Jan, 2024

大语言模型的不同程度脚手架支持对协作写作过程的影响进行了探讨。在一个拉丁方设计的实地实验中，共有 131 位参与者在无 AI 辅助（对照组）、下一句建议（低脚手架）和下一段建议（高脚手架）三种随机顺序的条件下回答辩论写作问题。研究发现，脚手架对写作质量和生产率（单位时间内的字数）的影响呈 U 型曲线。低脚手架并没有显著改善写作质量或生产率，而高脚手架则显著改善，特别是对于非常规写作者和对技术不熟悉的用户有益。使用脚手架写作工具时没有观察到明显的认知负荷，但注意到了对文本所有权和满意度的适度减少。我们的研究对于设计 AI 辅助写作工具具有广泛的意义，包括个性化脚手架机制的需求。

Feb, 2024

通过大数据集的筛选和分析，本论文提出了一种检验大语言模型创造能力的方法，并演示了如何使用 CoAuthor 数据集来验证 GPT-3 的能力以及在创作中的表现。

Jan, 2022