论证态度预测:多模态与少样本学习的探索性研究
通过整合文本和图像的多模态信息,文章提出了一种简单而有效的 TMPT 框架,利用目标信息从文本和视觉模态学习多模态姿态特征,并在三个基准数据集上取得了最先进的多模态姿态检测性能。
Feb, 2024
本研究提出多模态概率融合提示方法,结合语言模型提示和多模态提示提供不同的提示信号,以提高少样本情感分析中的准确性。实验结果表明该方法在三个数据集上均有效。
Nov, 2022
分析了使用大型语言模型在社交媒体中自动进行文本标注的效果和准确性,并探讨了人工标注者与模型的判断差异,发现模型通常在人工标注者很难达成一致意见的情况下表现不佳,对于进一步提高自动立场检测的准确性和全面性,建议综合运用人工专业知识和模型预测的方法。
Jun, 2024
本文提出了一种使用文本和网络特征进行多模态嵌入的新模型 CT-TN 来解决社交媒体中的跨目标立场检测问题,在跨目标场景下的实验结果表明,相比于现有的基线模型,CT-TN 的平均性能提高了 11% 至 21%,表明了其有效性。实验中还发现 CT-TN 在看到 300 个目标实例后能够胜过其他模型,并且网络交互分析进一步表明了利用社交特征进行跨目标立场检测具有潜力。
Jan, 2023
本研究评估了立场检测方法的演变,从早期的机器学习方法过渡到划时代的 BERT 模型,最终到现代的大语言模型(LLMs),如 ChatGPT、LLaMa-2 和 Mistral-7B。结果强调了 LLMs 在准确检测立场方面的卓越能力,LLaMa-2 和 Mistral-7B 表现出极高的效率和潜力,值得进一步研究。
Apr, 2024
针对多样观点的新闻推荐系统,识别两个新闻文章是否表达相同观点是至关重要的。本文探讨少样本立场检测的操作化选择的稳健性,特别关注不同主题下的立场建模。实验测试了预注册的关于立场检测的假设,比较了两种立场任务定义(正 / 反对与同一立场),两种 LLM 架构(双编码与交叉编码)以及添加自然语言推理知识,使用预训练的 RoBERTa 模型在来自 7 个不同立场检测数据集的 100 个样本中进行训练。我们的一些假设和之前的结果得到了证实,而其他结果则更不一致。同一立场定义的效果在不同数据集上有所不同,并受到其他建模选择的影响。我们没有发现训练样本中训练主题数量与性能之间的关系。总体上,交叉编码的性能优于双编码,并且将 NLI 训练添加到我们的模型中会显著改善,但这些结果在所有数据集上并不一致。我们的结果表明,在寻找稳健的 ' 立场 ' 建模选择时,需要包含多个数据集和系统建模实验。
Apr, 2024
本文提出了基于预训练语言模型(PLMs)的提示微调方案,以实现针对不同目标的在有限数据情况下的态度检测,通过设计面向目标的提示和提出新的翻译,来有效实现本文提出的方法,实验结果表明我们的模型在全数据和少样本场景下均具有优越的性能。
Jun, 2022
本研究提出新的模型,在跨语言环境下实现了最全面的立场检测实验,通过基于情感的立场数据预训练,相较于几个强基准测试,以及低资源设置下取得了 6% 以上的 F1 绝对改善。
Sep, 2021
使用大型语言模型(LLMs)进行立场分类的研究发现,尽管 LLMs 在某些数据集中的准确性可以匹配甚至超过标准结果,但它们的整体准确性并不明确优于受监督模型的结果,从而揭示了 LLMs 在立场分类方面的改进潜力。然而,LLMs 的应用为无监督立场检测开辟了新的有前途的途径,从而减少了手动收集和注释立场的需求,不仅简化了这一过程,还为扩大跨语言立场检测能力铺平了道路。通过本文,我们阐明了 LLMs 的立场分类能力,为该领域未来的进展提供了宝贵的见解。
Sep, 2023
本研究论文概述了 ImageArg 共享任务,这是第一个与 EMNLP 2023 第 10 届 Argument Mining 研讨会共同举办的多模态论证挖掘共享任务。共享任务包括两个分类子任务 -(1)子任务 A:论证立场分类;(2)子任务 B:图像说服力分类。前者确定包含图像和文本的推文对有争议的主题(例如枪支管制和堕胎)的立场。后者确定图像是否使推文文本更具说服力。共享任务共收到来自 6 个国家的 9 个不同团队的 31 个子任务 A 提交和 21 个子任务 B 提交。子任务 A 中最高分提交的 F1 得分为 0.8647,而子任务 B 中最佳提交的 F1 得分为 0.5561。
Oct, 2023