May, 2024

主题分析的自动化：LLM 如何分析争议话题

PDF
TL;DR该研究试验了大型语言模型（LLMs）在支持主题分析上的作用，发现人工研究者与两个 LLMs 在对澳大利亚 Robodebt 丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异，表明 LLMs 在支持对话和主题分析方面可以发挥作用，但应用中应该作为人类解释的补充，同时该研究还介绍了一种新颖的基于卡片的设计工具箱，以进一步研究 LLMs 作为分析工具的潜力。
large language modelsthematic analysiscontroversial topicshuman-machine comparisonqualitative research methods
发现论文，激发创造
  • LLM-in-the-loop：利用大型语言模型进行主题分析

    使用 LLM-in-the-loop 人工智能协作框架进行主题分析，能够在减少人力和时间需求的同时，获得与人工编码者相似的编码质量。

    Oct, 2023

  • 利用大型语言模型支持实证法律研究中的主题分析

    使用法律专家与大型语言模型（LLM）的协作框架进行主题分析和归纳编码相关研究，对刑事法院意见中的案件描述进行分析，发现典型盗窃案的类别，并证明 LLM 能有效产生初步编码、提高编码质量以及自动分类案件描述主题，为法律研究人员在整合 LLM 到他们的主题分析项目中提供指导。

    Oct, 2023

  • 大型语言模型能否模拟半结构化访谈的归纳主题分析？对方法和模型限制的探讨和挑战

    本文利用 GPT 3.5-Turbo 作为大型语言模型，试图将其应用于主题分析的质性研究中。尽管大型语言模型的应用在人类主题分析中存在争议，但研究结果证明该模型在一定程度上可以协助主题提取。本研究不旨在取代人类分析师，而是探索大型语言模型对质性研究的一定辅助作用。

    May, 2023

  • 使用 LLMs 探索定性研究

    本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

    Jun, 2023

  • 如何使用 LLMs 进行文本分析

    该文介绍了大型语言模型（LLM）作为社会科学中一种高度多功能的文本分析方法，以及它们对文本注释、分类、情感分析和批判性话语分析等广泛的文本分析任务的应用。通过使用 Python，该文提供了针对具有有限编程经验的学生和研究人员的简单介绍，指导他们如何在自己的研究项目中使用 LLMs 进行文本分析，并提供了最佳实践建议。以政治文本中的民粹主义识别为例子，展示了 LLMs 如何超越现有的最新技术。

    Jul, 2023

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

    Apr, 2024

  • 机器辅助混合方法：用人工智能增强人文社科研究

    利用大型语言模型 (LLMs) 的增强功能，扩展人文社会科学领域的数据分析，用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架，结合了定性分析专业知识、机器可扩展性和严格的量化分析，同时注重透明度和可复制性。通过 16 个机器辅助案例研究作为概念验证，展示了该框架的应用，涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有 LLM 应用文献的英语重点不同，这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外，生成 LLMs 可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化，但协议率可以在后续统计建模中考虑；文章还讨论了一个引导式方法。案例研究的复制实验证明，以前需要团队努力和复杂计算管道才能完成的任务，现在可以由辅助 LLM 的学者在更短的时间内完成。重要的是，这种方法旨在增强研究者的知识和技能，而不是取代它们。鉴于这些机会，定性专业知识和提出有深度问题的能力无疑变得更加关键。

    Sep, 2023

  • 大型语言模型为传统主题建模方法提供了一种替代方案

    本研究旨在探讨大型语言模型（LLMs）在主题提取方面的潜力，并建立评估协议以评估 LLMs 的聚类效果。通过深入实验与评估，总结了采用 LLMs 进行主题提取的优势和限制。

    Mar, 2024

  • 从声音到可信度：利用大型语言模型（LLM）对政策利益相关者访谈进行文本分析

    该研究通过将人类专业知识与大型语言模型（如 GPT-4）相结合，探索了人与计算机相互配合进行教育政策研究中的文本分析。结果显示，GPT-4 在特定主题上与人类编码的统一性达到 77.89％，在更广泛的主题上达到 96.02％，超过传统自然语言处理方法 25％以上，并且 GPT-4 更接近专家的情感分析。这种人与计算机相互配合的方法提高了教育政策研究的效率、有效性和可解释性。

    Dec, 2023

  • 商业中 LLM 益处的实际检验

    大型语言模型（LLMs）在理解和生成任务方面取得了显著的表现，但其在偏见、上下文理解和对提示的敏感性方面存在限制，因此对其在实际应用中的准备性产生了担忧。本文通过对四个可访问的 LLMs 使用真实世界数据进行的实验，深入研究了 LLMs 在业务流程中的实用性和准备性。研究结果对希望利用生成式人工智能的组织具有重大影响，并为未来的研究方向提供了宝贵的见解。据我们所知，这是第一项将 LLMs 应用于核心业务运营和挑战的定量研究。

    Jun, 2024