Oct, 2023

利用大型语言模型支持实证法律研究中的主题分析

PDF
TL;DR使用法律专家与大型语言模型（LLM）的协作框架进行主题分析和归纳编码相关研究，对刑事法院意见中的案件描述进行分析，发现典型盗窃案的类别，并证明 LLM 能有效产生初步编码、提高编码质量以及自动分类案件描述主题，为法律研究人员在整合 LLM 到他们的主题分析项目中提供指导。
thematic analysisinductive codinglegal expertlarge language modelcriminal court opinions
发现论文，激发创造
  • 大型语言模型能否模拟半结构化访谈的归纳主题分析？对方法和模型限制的探讨和挑战

    本文利用 GPT 3.5-Turbo 作为大型语言模型，试图将其应用于主题分析的质性研究中。尽管大型语言模型的应用在人类主题分析中存在争议，但研究结果证明该模型在一定程度上可以协助主题提取。本研究不旨在取代人类分析师，而是探索大型语言模型对质性研究的一定辅助作用。

    May, 2023

  • LLM-in-the-loop：利用大型语言模型进行主题分析

    使用 LLM-in-the-loop 人工智能协作框架进行主题分析，能够在减少人力和时间需求的同时，获得与人工编码者相似的编码质量。

    Oct, 2023

  • 主题分析的自动化：LLM 如何分析争议话题

    该研究试验了大型语言模型（LLMs）在支持主题分析上的作用，发现人工研究者与两个 LLMs 在对澳大利亚 Robodebt 丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异，表明 LLMs 在支持对话和主题分析方面可以发挥作用，但应用中应该作为人类解释的补充，同时该研究还介绍了一种新颖的基于卡片的设计工具箱，以进一步研究 LLMs 作为分析工具的潜力。

    May, 2024

  • LLM 辅助内容分析：使用大型语言模型支持演绎编码

    本研究探讨了利用大型语言模型的方法来减少演绎编码所需的时间，同时保留传统内容分析的灵活性。研究发现，在某些情况下，使用 GPT-3.5 可以达到与人类编码者同等程度的一致性水平。

    Jun, 2023

  • 使用大型语言模型支持定性分析：将编码簿与 GPT-3 相结合用于演绎编码

    本文研究了大型语言模型（LLMs）在支持定性分析中的应用，通过结合 GPT-3 和专家编写的编码手册，我们提出的方法在好奇驱动的问题编码任务中达到了与专家编码结果相当的一致性。

    Apr, 2023

  • 从声音到可信度：利用大型语言模型（LLM）对政策利益相关者访谈进行文本分析

    该研究通过将人类专业知识与大型语言模型（如 GPT-4）相结合，探索了人与计算机相互配合进行教育政策研究中的文本分析。结果显示，GPT-4 在特定主题上与人类编码的统一性达到 77.89％，在更广泛的主题上达到 96.02％，超过传统自然语言处理方法 25％以上，并且 GPT-4 更接近专家的情感分析。这种人与计算机相互配合的方法提高了教育政策研究的效率、有效性和可解释性。

    Dec, 2023

  • 大型语言模型进行主题分析：不限于英语，是否适用于其他语言？针对意大利语的有针对性测试

    本文提出了一种使用大型语言模型（LLM）对与英语不同语言的数据进行主题分析（TA）的测试方法。通过一个使用意大利语半结构化面谈数据集的测试，结果显示预先训练的模型可以在该数据上进行主题分析，并且使用意大利语提示。比较测试显示该模型能够生成与人类研究者独立生成的主题相似的结果。本研究的主要含义是预先训练的 LLM 可能适用于支持多语种情境下的分析，只要所使用的模型支持该语言。

    Apr, 2024

  • 从文本到结构：利用大型语言模型支持法律专家系统的发展

    利用大型语言模型自动提取立法文件的结构化表示，为发展透明且可解释的基于符号方法的系统提供了一条有前景的途径。

    Nov, 2023

  • LLM-TAKE：利用大型语言模型的主题感知关键词提取

    利用大型语言模型（LLMs）生成基于上下文的关键词，提出了主题感知关键词提取（LLM TAKE）的框架，通过避免输出非信息或敏感关键词，并减少在 LLMs 中普遍存在的幻觉，为电子商务领域的产品生成提取和抽象主题的两个变体，通过对三个真实数据集的广泛实验证明，该模型能够通过比较基准模型提升准确性和多样性。

    Dec, 2023

  • 如何使用大型语言模型进行文本编码：以公共政策文件中的父亲角色为例

    近期大语言模型（LLM）如 GPT-3 和 GPT-4 在政治学领域的文本分析方面取得了新突破，它们承诺以更好的结果和更少的编程工作来实现自动化。本研究评估 LLM 在三个原始编码任务的非英文政治学文本上的效果，并提供了在政治学研究中使用 LLM 进行文本编码的详细说明。我们的案例研究为希望将 LLM 纳入文本分析研究的研究人员提供了实用指南。我们发现，当提供了详细的标签定义和编码示例时，LLM 可以与甚至优于人工标注员，且速度快得多（高达数百倍），成本更低（比人工编码节省高达 60%），且更易于扩展到大量文本。总体而言，LLM 是大多数文本编码项目的可行选择。

    Nov, 2023