May, 2024

QuaLLM: 一种基于 LLM 的在线论坛定量洞见提取框架

PDF
TL;DR该研究引入了 QuaLLM，一种基于 LLM 的新型框架，用于分析和提取在线论坛上的文本数据的定量洞见。该框架通过一种新颖的提示方法和评估策略进行构建，并应用于分析了 Reddit 拼车工作者社区的超过一百万条评论，揭示了工作者对 AI 和算法平台决策的重大关注，以回应有关工作者洞察力的监管呼吁。总之，我们的工作为 AI 辅助的定量数据分析从在线论坛中浮出的关注点树立了新的先例。
online discussion forumsqualitative and quantitative methodsquallmreddit's rideshare worker communitiesai-assisted quantitative data analysis
发现论文，激发创造
  • 主题分析的自动化：LLM 如何分析争议话题

    该研究试验了大型语言模型（LLMs）在支持主题分析上的作用，发现人工研究者与两个 LLMs 在对澳大利亚 Robodebt 丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异，表明 LLMs 在支持对话和主题分析方面可以发挥作用，但应用中应该作为人类解释的补充，同时该研究还介绍了一种新颖的基于卡片的设计工具箱，以进一步研究 LLMs 作为分析工具的潜力。

    May, 2024

  • 大型语言模型的数量化知识检索

    大型语言模型可用于定量信息检索，以帮助数据分析任务，如贝叶斯模型的先验分布以及缺失数据的插补。我们提出了一个提示工程框架，将大型语言模型视为科学文献的潜在空间界面，并与其他已建立的方法进行比较。同时讨论了使用大型语言模型作为 “专家” 的影响和挑战。

    Feb, 2024

  • 长篇讨论的指示性摘要

    使用大型语言模型生成指示性摘要对长时间讨论进行归纳总结，并通过用户研究证明其作为导航工具的便捷性。

    Nov, 2023

  • LLM-in-the-loop：利用大型语言模型进行主题分析

    使用 LLM-in-the-loop 人工智能协作框架进行主题分析，能够在减少人力和时间需求的同时，获得与人工编码者相似的编码质量。

    Oct, 2023

  • 利用 LLMs-in-the-Loop 策略揭示社交媒体信息中的潜在论证

    利用大型语言模型（LLMs）从社交媒体消息中提取潜在观点的通用 LLMs-in-the-Loop 策略，旨在解决社交媒体话语研究中手动编码方法的耗时和高成本问题。

    Apr, 2024

  • 利用大型语言模型支持实证法律研究中的主题分析

    使用法律专家与大型语言模型（LLM）的协作框架进行主题分析和归纳编码相关研究，对刑事法院意见中的案件描述进行分析，发现典型盗窃案的类别，并证明 LLM 能有效产生初步编码、提高编码质量以及自动分类案件描述主题，为法律研究人员在整合 LLM 到他们的主题分析项目中提供指导。

    Oct, 2023

  • LLM 讨论：通过讨论框架和角色扮演提升大型语言模型的创造力

    通过模拟从不同背景和视角的参与者中进行互动讨论来提升大型语言模型创造力，采用三阶段的 LLM 讨论框架，引入角色扮演技术，实现了创造性答案的多样性、多维度的交流，通过多项创造力度量指标超越了现有的单一和多个 LLM 框架。

    May, 2024

  • LLM 对以事实为导向的问题是否感到困惑？以 Reddit 为案例研究

    我们调查了大型语言模型 (LLMs) 如何对社交媒体上的事实驱动问题给出人类回答，发现 LLMs 在模拟高评分人类回答方面表现优越，提出了一些未来研究的方向。

    Apr, 2024

  • 通过整合 LLMs 揭示社交媒体上的潜在主题：以气候运动为例的案例研究

    该研究介绍了一种用于揭示和分析社交媒体信息主题的新方法，通过机器与人员合作，利用大型语言模型，旨在深入探索社交媒体信息的主题细节，并发掘出多样的主题，研究结果表明该方法相较于传统的主题模型在发现潜在主题上更准确和可解释，同时揭示社交媒体中主题焦点随着现实事件的变化而变动，并指出这些主题如何针对不同人群进行定制。

    Mar, 2024

  • 大型语言模型的心理评估：注重隐私且具有成本效益的方法

    该研究探讨使用大型语言模型（LLMs）分析 Reddit 用户的文本评论，旨在实现两个主要目标：首先，找出支持预定义心理评估自杀风险的关键摘录；其次，总结材料以证实预先分配的自杀风险水平。该研究仅限于在本地运行的 “开源” LLMs 的使用，从而增强数据隐私。此外，该研究优先考虑计算要求低的模型，使其可供具有有限计算预算的个人和机构使用。该实施策略仅依靠精心设计的提示和语法来指导 LLM 的文本补全。尽管简单，评估指标显示出卓越结果，使其成为一种重要的关注隐私和成本效益的方法。这项工作是 2024 年计算语言学和临床心理学（CLPsych）共享任务的一部分。

    Feb, 2024