大型语言模型与主题分析:人机协作在社交媒体仇恨言论研究中的应用
本文利用GPT 3.5-Turbo作为大型语言模型,试图将其应用于主题分析的质性研究中。尽管大型语言模型的应用在人类主题分析中存在争议,但研究结果证明该模型在一定程度上可以协助主题提取。本研究不旨在取代人类分析师,而是探索大型语言模型对质性研究的一定辅助作用。
May, 2023
本研究对语言模型(LLMs)的理解能力进行了比较和对照,发现人类分析师和LLMs的分类和推理能力存在显著差异,但二者合作可能会产生协同效应,从而丰富了定性研究。
Jun, 2023
利用大型语言模型 (LLMs) 的增强功能,扩展人文社会科学领域的数据分析,用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架,结合了定性分析专业知识、机器可扩展性和严格的量化分析,同时注重透明度和可复制性。通过16个机器辅助案例研究作为概念验证,展示了该框架的应用,涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有LLM应用文献的英语重点不同,这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外,生成LLMs可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化,但协议率可以在后续统计建模中考虑;文章还讨论了一个引导式方法。案例研究的复制实验证明,以前需要团队努力和复杂计算管道才能完成的任务,现在可以由辅助LLM的学者在更短的时间内完成。重要的是,这种方法旨在增强研究者的知识和技能,而不是取代它们。鉴于这些机会,定性专业知识和提出有深度问题的能力无疑变得更加关键。
Sep, 2023
近期大语言模型(LLM)如GPT-3和GPT-4在政治学领域的文本分析方面取得了新突破,它们承诺以更好的结果和更少的编程工作来实现自动化。本研究评估LLM在三个原始编码任务的非英文政治学文本上的效果,并提供了在政治学研究中使用LLM进行文本编码的详细说明。我们的案例研究为希望将LLM纳入文本分析研究的研究人员提供了实用指南。我们发现,当提供了详细的标签定义和编码示例时,LLM可以与甚至优于人工标注员,且速度快得多(高达数百倍),成本更低(比人工编码节省高达60%),且更易于扩展到大量文本。总体而言,LLM是大多数文本编码项目的可行选择。
Nov, 2023
本文探索大型语言模型在心理学应用中的前沿。大型语言模型如ChatGPT正在改变心理学研究的方式,并在认知与行为心理学、临床与咨询心理学、教育与发展心理学以及社会与文化心理学等多个领域发挥着影响,强调了它们模拟人类认知和行为的潜力。该论文还讨论了这些模型在心理学方面的能力,提供了创新工具用于文献综述、假设生成、实验设计、实验对象选择、数据分析、学术写作和同行评审。然而,尽管大型语言模型对推进心理学研究方法至关重要,但该论文也注意到了其技术和伦理挑战,如数据隐私、在心理学研究中使用大型语言模型的伦理影响以及对这些模型局限性的更深入了解的需要。研究人员应该负责任地在心理学研究中使用大型语言模型,遵守伦理标准,并考虑在敏感领域部署这些技术的潜在后果。总之,这篇文章全面概述了大型语言模型在心理学中的现状,探讨了潜在的好处和挑战。它号召研究人员在充分利用这些模型的优势的同时,负责任地解决相关风险。
Jan, 2024
该研究试验了大型语言模型(LLMs)在支持主题分析上的作用,发现人工研究者与两个LLMs在对澳大利亚Robodebt丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异,表明LLMs在支持对话和主题分析方面可以发挥作用,但应用中应该作为人类解释的补充,同时该研究还介绍了一种新颖的基于卡片的设计工具箱,以进一步研究LLMs作为分析工具的潜力。
May, 2024
本综述研究了大型语言模型(LLMs)与认知科学交叉领域的相似性与差异性,分析了LLMs的认知能力评估方法及其作为认知模型的潜力。主要发现是LLMs在认知科学研究中的应用提供了重要见解,并指出了LLMs在与人类认知对齐过程中的挑战及未来研究方向。
Sep, 2024
本研究探讨了大语言模型(LLMs)与人类认知过程之间的相似性与差异性,填补了这一领域的研究空白。文章提出了一种评估LLMs认知能力的新方法,并指出了LLMs作为认知模型的潜力。研究结果强调了LLMs在理解人工智能及人类智能方面的重要性,并提出了未来研究方向。
Sep, 2024
本研究探讨了大型语言模型(LLMs)与认知科学的交集,分析了LLMs与人类认知过程之间的相似性和差异性。研究的主要发现是,尽管LLMs表现出某些认知能力,但仍存在认知偏见与局限性,需要进一步研究和改进,以推动理解人工智能与人类智能的进步。
Sep, 2024
本研究探讨了大型语言模型(LLMs)在自然语言处理和人工智能领域的快速发展,识别其影响、局限性及未来方向。研究提供了LLM发展的责任开发考虑、算法改进、伦理挑战和社会影响的全面概述,强调了其潜在的社会积极影响和伦理问题。
Sep, 2024