话语中的角色识别:对 LLMs 的挑战?
我们研究了利用大型语言模型家族 Llama 2 自动化德国 2017-2021 年议会辩论的发言人归属,并使用 QLoRA 进行 fine-tune 得到了具有竞争性表现的结果,揭示了大型语言模型在自动化发言人归属方面的能力,为政治话语的计算分析和语义角色标注系统的发展开辟了新的前景。
Sep, 2023
本研究探讨了大型语言模型在分类公共事务文件中的性能,发现 LLMs 可以有效处理和理解公共事务文件中使用的复杂语言,并可用于处理特定领域的文件,如公共事务文件。
Jun, 2023
利用 LLM 的潜在知识,本文提出了一种分析个别国会代表意识形态立场的方法,通过使用经过微调的 BERT 分类器从代表的演讲中提取基于意见的句子,并将每个代表的平均 BERT 嵌入投影到一对参考种子上,这些参考种子是在特定话题上具有相对立观点的已知代表,或者使用 OpenAI 的 GPT-4 模型生成的句子。
May, 2024
Instruction-finetuned Large Language Models display political leanings, influencing downstream task performance; auditing Llama Chat in the context of EU politics demonstrates its political knowledge and reasoning abilities, offering potential as data-driven conversational engines for political science research.
Mar, 2024
本篇研究利用 ChatGPT 等大语言模型对美国 116 届参议员进行纵向比较和分析,并筛选出与其政治思想立场相关的因素,在政治科学等领域进一步开拓了利用大语言模型技术进行测量与收集社会科学数据的新途径。
Mar, 2023
通过利用 TensorFlow 生成模型(LLMs)预测个体偏好和整体偏好,我们对 2022 年巴西总统选举期间收集的 67 项政策提案的数据进行训练和测试,发现 LLMs 在个体层面上的预测准确率为 69% 到 76%,并对自由派和大学教育程度较高的参与者有明显的优势;在整体层面上,借助 Borda score 对偏好进行汇总,我们发现通过 LLMs 进行增强的数据能够更好地预测整个参与人群的偏好,尤其是在随机样本仅代表总人口不超过 30% 到 40% 的情况下,这些结果表明 LLMs 在增强民主系统的构建中具有潜在的用途。
May, 2024