Sep, 2023

机器辅助混合方法：用人工智能增强人文社科研究

PDF
TL;DR利用大型语言模型 (LLMs) 的增强功能，扩展人文社会科学领域的数据分析，用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架，结合了定性分析专业知识、机器可扩展性和严格的量化分析，同时注重透明度和可复制性。通过 16 个机器辅助案例研究作为概念验证，展示了该框架的应用，涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有 LLM 应用文献的英语重点不同，这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外，生成 LLMs 可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化，但协议率可以在后续统计建模中考虑；文章还讨论了一个引导式方法。案例研究的复制实验证明，以前需要团队努力和复杂计算管道才能完成的任务，现在可以由辅助 LLM 的学者在更短的时间内完成。重要的是，这种方法旨在增强研究者的知识和技能，而不是取代它们。鉴于这些机会，定性专业知识和提出有深度问题的能力无疑变得更加关键。
large language modelsqualitative analyticsmixed methods frameworkmachine scalabilityautomated lexicography
发现论文，激发创造
  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

    Apr, 2024

  • 使用 LLMs 探索定性研究

    本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

    Jun, 2023

  • 大型语言模型人性化科技

    这篇文章着重探讨了大型语言模型对人类价值、劳动力市场的影响以及需不需要对它们进行监管等问题，同时，它们也能更好地人性化技术，并且可以克服当前技术所面临的瓶颈问题。因此，我们应该更广泛地了解和推广 LLMs 以及简化 LLMs 使用的工具和方法。

    May, 2023

  • 主题分析的自动化：LLM 如何分析争议话题

    该研究试验了大型语言模型（LLMs）在支持主题分析上的作用，发现人工研究者与两个 LLMs 在对澳大利亚 Robodebt 丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异，表明 LLMs 在支持对话和主题分析方面可以发挥作用，但应用中应该作为人类解释的补充，同时该研究还介绍了一种新颖的基于卡片的设计工具箱，以进一步研究 LLMs 作为分析工具的潜力。

    May, 2024

  • 为文本数据增强赋能大型语言模型

    提出了一种自动生成大量数据增强指令并选择最适合任务的指令的新解决方案，从而赋予 LLM 创建高质量增强数据用于不同的下游任务的能力。在 26 个少样本学习任务中，该方法一致生成比非 LLM 和基于 LLM 的数据增强方法质量更好的增强数据，表现最佳。

    Apr, 2024

  • 人工人工人工智能：众包工作者广泛使用大型语言模型进行文本生成任务

    本文研究 LLMs 对众包工人的影响，通过对在 Amazon Mechanical Turk 上运行的一个摘要任务，发现 33-46% 的众包工人使用了 LLMs，因此需要找到新的方法确保数据来源于人类本身。

    Jun, 2023

  • 利用语言模型对社会科学数据集进行编码

    研究表明，使用语言模型（LMs）可以处理人类编码的文本，通过与人类编码员的比较，我们发现 GPT-3 可以达到与人类编码员相当的表现水平，这为在很多领域中应用语言模型来处理文本提供了证据。

    Jun, 2023

  • 混合倡议人工科学文本检测的理解和解释

    通过定量实验，我们确定了人工和机器生成科学文本之间的关键区别，并提出了一种混合倡议工作流程，用于高效、可靠地检测科学文本，结合了人类专家的先前知识与机器智能，以及可视化分析原型。我们通过两个案例研究和与熟练研究人员的控制用户研究证明了我们的方法的有效性。我们还为高风险决策场景中的交互式人工文本检测工具提供设计启示。

    Apr, 2023

  • 利用大型语言模型（LLMs）支持人工智能在线风险数据协作注释

    利用 LLMs 作为交互式研究工具，促进人类编码员与人工智能之间的合作，有效地标记大规模在线风险数据。

    Apr, 2024

  • 利用领域特定大型语言模型进行研究综述的自动化

    本研究探索使用精细调整的大型语言模型（LLMs）自动化系统性文献综述（SLRs），提出了将人工智能与学术研究方法相结合的重要和创新贡献。通过采用最新的精细调整方法和开源的 LLMs，我们展示了一种实用高效的自动化 SLR 过程的方法，包括知识综合的最终执行阶段。研究结果在 LLM 响应的事实准确性方面保持了很高的保真度，并通过对现有符合 PRISMA 的 SLR 的复制进行了验证。研究提出了减轻 LLM 虚幻感的解决方案，并提出了追踪 LLM 响应与信息来源的机制，从而证明了这种方法如何满足学术研究的严格需求。最终的发现证实了精细调整的 LLMs 在简化各种劳动密集型的文献综述过程方面的潜力。鉴于这种方法的潜力及其在所有研究领域的适用性，这项基础研究还呼吁更新 PRISMA 报告指南以整合 AI 驱动的过程，确保未来 SLRs 的方法透明性和可靠性。该研究拓宽了 AI 增强工具在各学术和研究领域的应用，为在日益增长的学术研究数量面前以更高效的方式进行全面准确的文献综述设立了新的标准。

    Apr, 2024