Apr, 2024

社交媒体上的立场检测与优化的大型语言模型

PDF
TL;DR本研究评估了立场检测方法的演变，从早期的机器学习方法过渡到划时代的 BERT 模型，最终到现代的大语言模型（LLMs），如 ChatGPT、LLaMa-2 和 Mistral-7B。结果强调了 LLMs 在准确检测立场方面的卓越能力，LLaMa-2 和 Mistral-7B 表现出极高的效率和潜力，值得进一步研究。
发现论文，激发创造
  • 大型语言模型在立场分类中的应用

    使用大型语言模型（LLMs）进行立场分类的研究发现，尽管 LLMs 在某些数据集中的准确性可以匹配甚至超过标准结果，但它们的整体准确性并不明确优于受监督模型的结果，从而揭示了 LLMs 在立场分类方面的改进潜力。然而，LLMs 的应用为无监督立场检测开辟了新的有前途的途径，从而减少了手动收集和注释立场的需求，不仅简化了这一过程，还为扩大跨语言立场检测能力铺平了道路。通过本文，我们阐明了 LLMs 的立场分类能力，为该领域未来的进展提供了宝贵的见解。

    Sep, 2023

  • 使用预训练语言模型的立场检测教程：BERT 微调与大型语言模型引导

    本文提出了两个自包含教程，介绍了使用 BERT fine-tuning 和使用大型语言模型（LLMs）进行推特数据中的立场检测的方法。第一个教程解释了 BERT 架构和标记化，引导用户进行训练、调优和评估使用 HuggingFace transformers 的标准和领域特定的 BERT 模型。第二个教程专注于构建提示和少样本示例，从 ChatGPT 和开源 FLAN-T5 中获取立场而无需进行 fine-tuning。使用混淆矩阵和宏 F1 得分来实施和评估各种提示策略。这些教程提供了代码、可视化和洞察力，揭示了 ChatGPT 和 FLAN-T5 强于经过 fine-tuning 的 BERT 的优势。通过以易于理解和实用的方式涵盖模型 fine-tuning 和基于提示的技术，这些教程使学习者能够获得有关立场检测的前沿方法的应用经验。

    Jul, 2023

  • 推进社交媒体帖子立场注释：对大型语言模型和众包的比较分析

    分析了使用大型语言模型在社交媒体中自动进行文本标注的效果和准确性，并探讨了人工标注者与模型的判断差异，发现模型通常在人工标注者很难达成一致意见的情况下表现不佳，对于进一步提高自动立场检测的准确性和全面性，建议综合运用人工专业知识和模型预测的方法。

    Jun, 2024

  • 基于自动化技术的复杂主题和小语种中的立场检测：以极化新闻媒体中的移民问题为例

    本文旨在研究大型语言模型在对于语言数据集难以获得的语言，如形态复杂、资源较少的语言中进行自动立场检测的适用性，同时探索了 ChatGPT 作为一种全零样本分类器的可行性，结果表明 ChatGPT 的性能可与有监督学习相当。最佳模型的应用还可用于研究爱沙尼亚主流新闻来源和右翼民粹主义新闻来源在七年间的历时趋势，并探讨立场变更与现实事件的对应关系，这为新闻分析和媒体监测提供了一个更为简单和省钱的文本分类任务的替代方案。

    May, 2023

  • 基于协作角色注入的立场检测

    Stance detection is a crucial task in content analysis, and this paper presents a COLA framework that utilizes LLMs to handle multi-aspect knowledge, advanced reasoning, and collaborative agents to achieve state-of-the-art performance without additional data annotation or model training, emphasizing its usability, accuracy, effectiveness, explainability, and versatility.

    Oct, 2023

  • 利用校准策略减轻大型语言模型在立场检测中的偏见

    在这篇论文中，我们提出了一种新颖的门控校准网络来减轻大型语言模型在态度检测中的偏见，通过构建反事实增强数据来纠正态度偏见，实验结果表明，提出的 MB-Cal 方法可以有效地减轻大型语言模型的偏见，达到最先进的结果。

    Feb, 2024

  • 基于情感预训练的少样本跨语种立场检测

    本研究提出新的模型，在跨语言环境下实现了最全面的立场检测实验，通过基于情感的立场数据预训练，相较于几个强基准测试，以及低资源设置下取得了 6% 以上的 F1 绝对改善。

    Sep, 2021

  • 利用 ChatGPT 探索社交媒体立场检测的思路链

    本文研究了 Chain-of-Thought 方法在 stance detection 任务中的有效性，并展示了其卓越的准确性和相关挑战。

    Apr, 2023

  • 网络和社交媒体中的立场检测：一项比较研究

    本文探讨了在社交媒体平台上进行自动立场检测的多种方法，包括神经模型和经典的分类器模型，并对它们的可复现性和比较性能进行了详细的研究和实验。

    Jul, 2020

  • 多模态立场检测：新数据集和模型

    通过整合文本和图像的多模态信息，文章提出了一种简单而有效的 TMPT 框架，利用目标信息从文本和视觉模态学习多模态姿态特征，并在三个基准数据集上取得了最先进的多模态姿态检测性能。

    Feb, 2024