如何使用 LLMs 进行文本分析
近期大语言模型(LLM)如 GPT-3 和 GPT-4 在政治学领域的文本分析方面取得了新突破,它们承诺以更好的结果和更少的编程工作来实现自动化。本研究评估 LLM 在三个原始编码任务的非英文政治学文本上的效果,并提供了在政治学研究中使用 LLM 进行文本编码的详细说明。我们的案例研究为希望将 LLM 纳入文本分析研究的研究人员提供了实用指南。我们发现,当提供了详细的标签定义和编码示例时,LLM 可以与甚至优于人工标注员,且速度快得多(高达数百倍),成本更低(比人工编码节省高达 60%),且更易于扩展到大量文本。总体而言,LLM 是大多数文本编码项目的可行选择。
Nov, 2023
该研究试验了大型语言模型(LLMs)在支持主题分析上的作用,发现人工研究者与两个 LLMs 在对澳大利亚 Robodebt 丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异,表明 LLMs 在支持对话和主题分析方面可以发挥作用,但应用中应该作为人类解释的补充,同时该研究还介绍了一种新颖的基于卡片的设计工具箱,以进一步研究 LLMs 作为分析工具的潜力。
May, 2024
本文提出了对大型语言模型(LLMs)的可靠、可重复和符合伦理的使用的全面标准和最佳实践,涵盖了模型选择、提示工程、结构化提示、提示稳定性分析、严格的模型验证以及伦理和法律影响等关键领域,强调了对 LLMs 的结构化、有导向性和格式化的使用的需求,以确保文本注释实践的完整性和鲁棒性,并倡导在社会科学研究中对 LLMs 进行细致而批判性的参与。
Feb, 2024
通过文献综述和第一手实验,本文研究了大型语言模型(LLMs)的潜力。尽管 LLMs 具有成本效益和高效性等优点,但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解,强调了成功和限制。此外,本文还讨论了缓解挑战的策略,如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作,并积极促进其负责任的应用,以此回应关于 LLMs 在研究中负责任应用的持续对话。
Apr, 2024
该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述,并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。
Feb, 2023
该研究报告关注大型语言模型在科学研究中的应用,调查了使用 LLM 工具的若干实际案例,特别是与软件工程相关的用例,结果显示了大型语言模型工具的潜力和问题。
Nov, 2023
本文介绍了如何将大型语言模型 LLMS 应用于法律领域,对应用于法律任务的不同方法进行了讨论,并探讨了使用 LLMS 所引发的隐私、偏见等法律问题,提出了数据资源领域学习上下文中的一些潜在方向。希望为当前 LLMS 的法律应用现状提供概述,同时强调其集成的潜在益处和挑战。
Mar, 2023
大型语言模型 (LLMs) 能够在不同学科领域发挥作用和限制,加强科学研究,例如通过总结大量出版物加速文献回顾,通过自动语法纠正提升代码开发,和优化科学写作过程。然而,LLMs 面临挑战,如依赖庞大且有时偏颇的数据集,以及出于使用而引发的潜在伦理困境。我们对 LLMs 在不同领域的影响进行重要讨论,从自然科学中帮助模拟复杂生物序列,到社会科学中解析大规模的定性数据。最后,我们提供一种细致的观点,认为 LLMs 既是科学进步的福音,也是其边界。
Nov, 2023
该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法,包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合,同时提供了现有的多模态时间序列和文本数据集的综合概述,并分析了该新兴领域的挑战和未来机会。
Feb, 2024
大型语言模型(LLMs)在理解和生成任务方面取得了显著的表现,但其在偏见、上下文理解和对提示的敏感性方面存在限制,因此对其在实际应用中的准备性产生了担忧。本文通过对四个可访问的 LLMs 使用真实世界数据进行的实验,深入研究了 LLMs 在业务流程中的实用性和准备性。研究结果对希望利用生成式人工智能的组织具有重大影响,并为未来的研究方向提供了宝贵的见解。据我们所知,这是第一项将 LLMs 应用于核心业务运营和挑战的定量研究。
Jun, 2024