通过实证用户研究 (n=30)，我们调查了现代大型语言模型 (LLMs) 在协助专业作家方面的效用，发现作家在规划、翻译和审阅等认知活动中都寻求 LLMs 的帮助，尤其在翻译和审阅方面 LLMs 更为有帮助，同时我们的研究结果也强调了利用 LLMs 进行创意写作辅助的未来研究方向。

Sep, 2023

本文通过分析针对信息内容而忽略其社会方面的单一视角，提出智能写作助手需要融入社会因素来建立更有效、更个性化的写作助手，以提高用户体验和促进用户的广泛采用。

Mar, 2023

研究调查了写作中的所有权感、写作辅助工具、大型语言模型、创造性任务以及人机交互等问题，以提高写作辅助系统的性能。

Mar, 2024

通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

Apr, 2024

利用大型语言模型 (LLMs) 的增强功能，扩展人文社会科学领域的数据分析，用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架，结合了定性分析专业知识、机器可扩展性和严格的量化分析，同时注重透明度和可复制性。通过 16 个机器辅助案例研究作为概念验证，展示了该框架的应用，涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有 LLM 应用文献的英语重点不同，这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外，生成 LLMs 可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化，但协议率可以在后续统计建模中考虑；文章还讨论了一个引导式方法。案例研究的复制实验证明，以前需要团队努力和复杂计算管道才能完成的任务，现在可以由辅助 LLM 的学者在更短的时间内完成。重要的是，这种方法旨在增强研究者的知识和技能，而不是取代它们。鉴于这些机会，定性专业知识和提出有深度问题的能力无疑变得更加关键。

Sep, 2023

GhostWriter 是一种使用大型语言模型 (LLM) 进行人工智能增强的写作设计探针，用户可以在写作过程中隐式地学习其预期写作风格，并通过手动样式编辑和注释实现显式教学，研究结果表明 GhostWriter 帮助用户个性化生成文本，通过提供多种方式控制系统的写作风格增强用户的能力，为未来的工作提供了设计建议。

Feb, 2024

利用自动检测器识别大型语言模型辅助写作的研究，发现目前的四种先进的自动生成文本检测器性能不佳，提出专门针对大型语言模型辅助写作检测的专用检测器的发展是必要的。这样的检测器可以在科学交流中促进对大型语言模型参与的真实认可，并解决目前对认可实践的挑战。

Jan, 2024

使用 LLM-in-the-loop 人工智能协作框架进行主题分析，能够在减少人力和时间需求的同时，获得与人工编码者相似的编码质量。

Oct, 2023

探索人类如何最好地利用 LLMs 进行写作，以及与这些模型交互对写作过程中的所有权感和信任感的影响，我们比较了在 LLM 辅助的新闻标题生成背景下的常见人工智能与人类交互类型（例如，引导系统、从系统输出中选择、后编辑输出）。虽然 LLMs 单独可以生成令人满意的新闻标题，但平均而言，需要人类对不符合要求的模型输出进行修正。在交互方法中，引导和选择模型输出带来了最大的利益，成本最低（时间和精力）。此外，与自由编辑相比，人工智能辅助对参与者对控制感的认知没有造成伤害。

Oct, 2023

本文研究了使用 AI 技术辅助创作的自然语言生成（NLG）模型，并邀请了 13 位专业作家来尝试使用 Wordcraft，这个内置 AI 辅助撰写工具的文本编辑器。结果显示 NLG 工具在创作过程的脑暴、描写细节、建立故事世界和研究文本方面具有很大的潜力。但由于 NLG 技术在保留风格、语调和理解故事内容等方面存在困难，因此建立一个合适的作家个性化 NLG 辅助工具是非常有挑战性的。

Nov, 2022