Jan, 2024

论归纳主题饱和作为衡量基于 LLMs 的归纳主题分析有效性的潜在指标

PDF
TL;DR本研究提出一种关于饱和度和大型语言模型（LLMs）在主题分析（TA）中的应用的反思，认为初始主题饱和度（ITS）可以作为评估 TA 和 LLM 的交易有效性的指标之一。研究展示了两个不同规模数据集的初始编码，并就 LLM 在编码过程中如何达到某种形式的分析饱和度进行了反思。本文提出了一种基于累积代码和唯一代码斜率比率的简单数学计算方法来综合度量 ITS。本文对使用 LLMs 进行定性分析的方法的初步探索做出了贡献。
发现论文，激发创造
  • 大型语言模型能否模拟半结构化访谈的归纳主题分析？对方法和模型限制的探讨和挑战

    本文利用 GPT 3.5-Turbo 作为大型语言模型，试图将其应用于主题分析的质性研究中。尽管大型语言模型的应用在人类主题分析中存在争议，但研究结果证明该模型在一定程度上可以协助主题提取。本研究不旨在取代人类分析师，而是探索大型语言模型对质性研究的一定辅助作用。

    May, 2023

  • LLM-in-the-loop：利用大型语言模型进行主题分析

    使用 LLM-in-the-loop 人工智能协作框架进行主题分析，能够在减少人力和时间需求的同时，获得与人工编码者相似的编码质量。

    Oct, 2023

  • 利用大型语言模型支持实证法律研究中的主题分析

    使用法律专家与大型语言模型（LLM）的协作框架进行主题分析和归纳编码相关研究，对刑事法院意见中的案件描述进行分析，发现典型盗窃案的类别，并证明 LLM 能有效产生初步编码、提高编码质量以及自动分类案件描述主题，为法律研究人员在整合 LLM 到他们的主题分析项目中提供指导。

    Oct, 2023

  • 大型语言模型进行主题分析：不限于英语，是否适用于其他语言？针对意大利语的有针对性测试

    本文提出了一种使用大型语言模型（LLM）对与英语不同语言的数据进行主题分析（TA）的测试方法。通过一个使用意大利语半结构化面谈数据集的测试，结果显示预先训练的模型可以在该数据上进行主题分析，并且使用意大利语提示。比较测试显示该模型能够生成与人类研究者独立生成的主题相似的结果。本研究的主要含义是预先训练的 LLM 可能适用于支持多语种情境下的分析，只要所使用的模型支持该语言。

    Apr, 2024

  • 主题分析的自动化：LLM 如何分析争议话题

    该研究试验了大型语言模型（LLMs）在支持主题分析上的作用，发现人工研究者与两个 LLMs 在对澳大利亚 Robodebt 丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异，表明 LLMs 在支持对话和主题分析方面可以发挥作用，但应用中应该作为人类解释的补充，同时该研究还介绍了一种新颖的基于卡片的设计工具箱，以进一步研究 LLMs 作为分析工具的潜力。

    May, 2024

  • 大型语言模型用于进行高级文本分析信息系统研究

    数字内容的指数级增长引发了大规模文本数据集，需要先进的分析方法。大型语言模型作为处理和提取海量非结构化文本数据集的工具已经出现。为了帮助信息系统研究了解如何操作化大型语言模型，我们提出了一个用于信息系统研究的文本分析框架（TAISR）。我们的框架为如何进行有意义的基于文本的信息系统研究提供了详细的建议，这些建议基于信息系统和大型语言模型的文献。我们在商业智能领域进行了三个案例研究，用我们的 TAISR 框架来展示其在几个信息系统研究背景下的应用。我们还概述了采用大型语言模型进行信息系统研究可能面临的挑战和局限。通过提供一种系统化的方法并证明其实用性，我们的 TAISR 框架有助于未来将强大的大型语言模型添加到文本分析的信息系统研究流程中。

    Dec, 2023

  • 使用大型语言模型编写用户画像：半结构化面谈主题分析测试第 6 阶段

    本文探讨利用大型语言模型（GPT3.5-Turbo）是否能够对半结构化面试进行主题分析（TA），并重点关注 LLM 结果如何用于用户画像的生成。结果表明，该模型可以从主题中生成基本的用户画像，并可为用户画像的生成提供想法。

    May, 2023

  • LLM-TAKE：利用大型语言模型的主题感知关键词提取

    利用大型语言模型（LLMs）生成基于上下文的关键词，提出了主题感知关键词提取（LLM TAKE）的框架，通过避免输出非信息或敏感关键词，并减少在 LLMs 中普遍存在的幻觉，为电子商务领域的产品生成提取和抽象主题的两个变体，通过对三个真实数据集的广泛实验证明，该模型能够通过比较基准模型提升准确性和多样性。

    Dec, 2023

  • 大型文本数据中的交互式概念学习和主题发现

    本研究提出了一种交互式框架，该框架通过接收并编码领域相关的概念和专家反馈来维护领域专家对学习的控制，从而在自动化和手动编码之间取得平衡。

    May, 2023

  • 通过整合 LLMs 揭示社交媒体上的潜在主题：以气候运动为例的案例研究

    该研究介绍了一种用于揭示和分析社交媒体信息主题的新方法，通过机器与人员合作，利用大型语言模型，旨在深入探索社交媒体信息的主题细节，并发掘出多样的主题，研究结果表明该方法相较于传统的主题模型在发现潜在主题上更准确和可解释，同时揭示社交媒体中主题焦点随着现实事件的变化而变动，并指出这些主题如何针对不同人群进行定制。

    Mar, 2024