Nov, 2023

如何使用大型语言模型进行文本编码：以公共政策文件中的父亲角色为例

PDF
TL;DR近期大语言模型（LLM）如 GPT-3 和 GPT-4 在政治学领域的文本分析方面取得了新突破，它们承诺以更好的结果和更少的编程工作来实现自动化。本研究评估 LLM 在三个原始编码任务的非英文政治学文本上的效果，并提供了在政治学研究中使用 LLM 进行文本编码的详细说明。我们的案例研究为希望将 LLM 纳入文本分析研究的研究人员提供了实用指南。我们发现，当提供了详细的标签定义和编码示例时，LLM 可以与甚至优于人工标注员，且速度快得多（高达数百倍），成本更低（比人工编码节省高达 60%），且更易于扩展到大量文本。总体而言，LLM 是大多数文本编码项目的可行选择。
发现论文，激发创造
  • 利用语言模型对社会科学数据集进行编码

    研究表明，使用语言模型（LMs）可以处理人类编码的文本，通过与人类编码员的比较，我们发现 GPT-3 可以达到与人类编码员相当的表现水平，这为在很多领域中应用语言模型来处理文本提供了证据。

    Jun, 2023

  • 从声音到可信度：利用大型语言模型（LLM）对政策利益相关者访谈进行文本分析

    该研究通过将人类专业知识与大型语言模型（如 GPT-4）相结合，探索了人与计算机相互配合进行教育政策研究中的文本分析。结果显示，GPT-4 在特定主题上与人类编码的统一性达到 77.89％，在更广泛的主题上达到 96.02％，超过传统自然语言处理方法 25％以上，并且 GPT-4 更接近专家的情感分析。这种人与计算机相互配合的方法提高了教育政策研究的效率、有效性和可解释性。

    Dec, 2023

  • 大型语言模型进行政策文件的多类别分类

    使用 GPT 3.5 和 GPT 4 模型对议会法案和听证会进行分类，与人工干预程度相关的三种使用情景中，我们的结果表明完全依赖最小化人工干预的 GPT 不够充分，人工投入程度越高准确性越高，并在最需要人工干预的情况下取得了令人惊讶的高准确率。然而，优秀的使用情景中的 83% 准确率仅在两个模型达成一致的 65% 数据上实现，暗示着类似我们的方法相对容易实施，并可实现对大多数给定数据集的自动编码，从而节省资源并降低成本。

    Oct, 2023

  • 如何使用 LLMs 进行文本分析

    该文介绍了大型语言模型（LLM）作为社会科学中一种高度多功能的文本分析方法，以及它们对文本注释、分类、情感分析和批判性话语分析等广泛的文本分析任务的应用。通过使用 Python，该文提供了针对具有有限编程经验的学生和研究人员的简单介绍，指导他们如何在自己的研究项目中使用 LLMs 进行文本分析，并提供了最佳实践建议。以政治文本中的民粹主义识别为例子，展示了 LLMs 如何超越现有的最新技术。

    Jul, 2023

  • 基于大型语言模型的教育调查反馈分析

    本研究评估了大型语言模型（LLMs）GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力，并应用自然语言处理的方法，通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标，从而展示了 LLMs 在洞察力提取方面的巨大潜力。

    Sep, 2023

  • 使用大型语言模型支持定性分析：将编码簿与 GPT-3 相结合用于演绎编码

    本文研究了大型语言模型（LLMs）在支持定性分析中的应用，通过结合 GPT-3 和专家编写的编码手册，我们提出的方法在好奇驱动的问题编码任务中达到了与专家编码结果相当的一致性。

    Apr, 2023

  • LLM 辅助内容分析：使用大型语言模型支持演绎编码

    本研究探讨了利用大型语言模型的方法来减少演绎编码所需的时间，同时保留传统内容分析的灵活性。研究发现，在某些情况下，使用 GPT-3.5 可以达到与人类编码者同等程度的一致性水平。

    Jun, 2023

  • 利用大型语言模型支持实证法律研究中的主题分析

    使用法律专家与大型语言模型（LLM）的协作框架进行主题分析和归纳编码相关研究，对刑事法院意见中的案件描述进行分析，发现典型盗窃案的类别，并证明 LLM 能有效产生初步编码、提高编码质量以及自动分类案件描述主题，为法律研究人员在整合 LLM 到他们的主题分析项目中提供指导。

    Oct, 2023

  • 大型语言模型能否改变计算社会科学？

    本研究探讨了利用大型语言模型 (Large Language Models，LLMs) 作为计算社会科学 (Computational Social Science，CSS) 工具的可行性。结果表明，LLMs 可以作为零 - shot 数据注释工具或是用于启动具有挑战性的生成任务，并可以极大地提高社会科学分析的效率和降低成本。

    Apr, 2023

  • 从文本到结构：利用大型语言模型支持法律专家系统的发展

    利用大型语言模型自动提取立法文件的结构化表示，为发展透明且可解释的基于符号方法的系统提供了一条有前景的途径。

    Nov, 2023