COLINGApr, 2024

探究少样本 跨领域立场检测模型决策的稳健性：一项预注册研究

PDF
TL;DR针对多样观点的新闻推荐系统，识别两个新闻文章是否表达相同观点是至关重要的。本文探讨少样本立场检测的操作化选择的稳健性，特别关注不同主题下的立场建模。实验测试了预注册的关于立场检测的假设，比较了两种立场任务定义（正 / 反对与同一立场），两种 LLM 架构（双编码与交叉编码）以及添加自然语言推理知识，使用预训练的 RoBERTa 模型在来自 7 个不同立场检测数据集的 100 个样本中进行训练。我们的一些假设和之前的结果得到了证实，而其他结果则更不一致。同一立场定义的效果在不同数据集上有所不同，并受到其他建模选择的影响。我们没有发现训练样本中训练主题数量与性能之间的关系。总体上，交叉编码的性能优于双编码，并且将 NLI 训练添加到我们的模型中会显著改善，但这些结果在所有数据集上并不一致。我们的结果表明，在寻找稳健的 ' 立场 ' 建模选择时，需要包含多个数据集和系统建模实验。
viewpoint-diverse news recommenderstance detectionfew-shotllm architecturesmodelling choices
发现论文，激发创造
  • 基于情感预训练的少样本跨语种立场检测

    本研究提出新的模型，在跨语言环境下实现了最全面的立场检测实验，通过基于情感的立场数据预训练，相较于几个强基准测试，以及低资源设置下取得了 6% 以上的 F1 绝对改善。

    Sep, 2021

  • Stance 检测是主题无关和跨主题通用的吗？—— 一项再现性研究

    通过成功重现 Reimers 等人（2019 年）的跨主题立场检测工作并系统地分析其可重现性，我们发现立场检测在话题独立性和跨主题一致性方面存在问题，特别是在词汇和社会文化背景方面。因此，研究不同话题上的性能，并解决话题特定的词汇和背景，是跨主题立场检测的未来发展方向。

    Oct, 2021

  • 零样本立场检测：使用广义主题表示的数据集和模型

    本文研究如何利用直觉表示捕捉话题之间的隐式关系，提出了一种适用于零样本学习的立场检测模型，并提出了一个新的数据集用于测试。结果表明，这个模型在许多有挑战性的语言现象上表现得更好。

    Oct, 2020

  • 当代议题倾向性预测：数据与实验

    研究使用预训练的双向变压器和情感信息，以改进对当代问题长时间讨论的立场检测，并创建一个新的含有情感信息的数据集，该数据集可用于浅层递归神经网络在低参数下达到了与经过微调的 BERT 相同的结果，同时使用简单的方法解释了哪些输入短语对于立场检测产生影响。

    May, 2020

  • 利用情感和常识进行零样本立场检测

    文章提出一种包含情感、常识知识，并使用图自编码器模块获得常识知识的态度检测模型，通过在零样本设置下比较，研究结果显示该模型在 VAST 基准数据集上的表现优于现有最先进的方法。

    Aug, 2022

  • 论证态度预测：多模态与少样本学习的探索性研究

    通过对推文中的立场预测的图像的必要性进行了评估，并使用了现有的大型语言模型进行了对比，研究表明，精调的基于文本的语言模型的集合优于多模态模型和使用最新的大型语言模型进行的基于文本的少量训练数据的预测。此外，多模态模型在将图像内容摘要为自然语言时表现更好，使用上下文示例可以改善大规模语言模型的少量训练数据的性能。

    Oct, 2023

  • 同侧立场分类任务：通过微调 BERT 模型促进论点立场分类

    研究计算论证正在被密切调查。我们建立了一个基于 BERT 体系结构的模型，细调了一个预先训练的 BERT 模型三个周期，并使用每个参数的前 512 个标记来预测两个参数是否具有相同的看法。该体系结构对于对立面立场分类任务非常有效，并提供了数据集，用于区分主题特定的正方和反方词汇。

    Apr, 2020

  • 基于自动化技术的复杂主题和小语种中的立场检测：以极化新闻媒体中的移民问题为例

    本文旨在研究大型语言模型在对于语言数据集难以获得的语言，如形态复杂、资源较少的语言中进行自动立场检测的适用性，同时探索了 ChatGPT 作为一种全零样本分类器的可行性，结果表明 ChatGPT 的性能可与有监督学习相当。最佳模型的应用还可用于研究爱沙尼亚主流新闻来源和右翼民粹主义新闻来源在七年间的历时趋势，并探讨立场变更与现实事件的对应关系，这为新闻分析和媒体监测提供了一个更为简单和省钱的文本分类任务的替代方案。

    May, 2023

  • 网络和社交媒体中的立场检测：一项比较研究

    本文探讨了在社交媒体平台上进行自动立场检测的多种方法，包括神经模型和经典的分类器模型，并对它们的可复现性和比较性能进行了详细的研究和实验。

    Jul, 2020

  • 基于监督、零样本和少样本的立场检测应用

    本文通过确定立场检测任务的定义，提供了一个通用框架，并提供了三种不同的方法来执行立场检测：监督式分类、NLI 分类器的零样本分类和上下文学习。此外，本文论述了零样本和少样本语言分类器的应用和局限性与监督分类器的不同，并通过复制 Block Jr 等人 (2022) 的方法演示了零样本立场检测的应用。

    May, 2023