利用 LLMs-in-the-Loop 策略揭示社交媒体信息中的潜在论证
该研究介绍了一种用于揭示和分析社交媒体信息主题的新方法,通过机器与人员合作,利用大型语言模型,旨在深入探索社交媒体信息的主题细节,并发掘出多样的主题,研究结果表明该方法相较于传统的主题模型在发现潜在主题上更准确和可解释,同时揭示社交媒体中主题焦点随着现实事件的变化而变动,并指出这些主题如何针对不同人群进行定制。
Mar, 2024
该研究试验了大型语言模型(LLMs)在支持主题分析上的作用,发现人工研究者与两个 LLMs 在对澳大利亚 Robodebt 丑闻媒体报道的片段进行主题分类时存在有趣的重叠和差异,表明 LLMs 在支持对话和主题分析方面可以发挥作用,但应用中应该作为人类解释的补充,同时该研究还介绍了一种新颖的基于卡片的设计工具箱,以进一步研究 LLMs 作为分析工具的潜力。
May, 2024
使用 LLM-in-the-loop 人工智能协作框架进行主题分析,能够在减少人力和时间需求的同时,获得与人工编码者相似的编码质量。
Oct, 2023
本研究提出了一种基于社交讨论的无监督学习策略,使用已预训练的语言模型,选择性地使用掩码语言模型任务进行微调,并引入了一种基于提示的策略,在将被提取的论点组件之间预测关系时支持上下文语境,此方法表现出了在本领域和跨领域数据集上超越了多个现有的和强基线模型的潜力。
Mar, 2022
社交媒体影响力竞选对公共话语和民主构成重大挑战,传统检测方法因社交媒体的复杂性和动态性而力不从心。本文提出了一种新颖的检测方法,利用大型语言模型(LLMs)结合用户元数据和网络结构。通过将这些元素转化为文本格式,我们的方法能够有效处理多语言内容并适应恶意竞选行为者不断变化的策略。通过在多个数据集上进行严格测试,我们验证了模型的有效性,并展示了其在识别影响力竞选方面的卓越性能。本研究不仅提供了一个强大的检测工具,而且为未来改进社交媒体影响策略的快速演变奠定了基础。
Nov, 2023
社交媒体及其新闻推送算法对于提升构建性对话具有挑战性,本研究使用大型语言模型和基于代理模型的仿真来研究不同的新闻推送算法如何影响在线对话质量,发现新推送算法能够促进跨政治观点的建设性、非有害对话。
Oct, 2023
采用人在循环提示工程方法与 GPT-4-Turbo 进行学生之间的协同话语的总结和分类的初步结果表明 GPT-4-Turbo 可能能够以与人类相媲美的方式表征学生的协同学习,并且我们的方法值得进一步研究。
May, 2024
在 Mastodon 社交媒体平台上,我们使用了 “LLMs Among Us” 实验框架构建了 10 个角色来研究大型语言模型的潜力和威胁,发现参与者只有 42% 的准确率能识别出其他用户的真实性。此外,我们还发现角色的选择对于人的感知影响比主流大型语言模型的选择更大。
Feb, 2024
该研究引入了 QuaLLM,一种基于 LLM 的新型框架,用于分析和提取在线论坛上的文本数据的定量洞见。该框架通过一种新颖的提示方法和评估策略进行构建,并应用于分析了 Reddit 拼车工作者社区的超过一百万条评论,揭示了工作者对 AI 和算法平台决策的重大关注,以回应有关工作者洞察力的监管呼吁。总之,我们的工作为 AI 辅助的定量数据分析从在线论坛中浮出的关注点树立了新的先例。
May, 2024