DEEM: 动态经验专家模型用于立场检测
使用大型语言模型(LLMs)进行立场分类的研究发现,尽管 LLMs 在某些数据集中的准确性可以匹配甚至超过标准结果,但它们的整体准确性并不明确优于受监督模型的结果,从而揭示了 LLMs 在立场分类方面的改进潜力。然而,LLMs 的应用为无监督立场检测开辟了新的有前途的途径,从而减少了手动收集和注释立场的需求,不仅简化了这一过程,还为扩大跨语言立场检测能力铺平了道路。通过本文,我们阐明了 LLMs 的立场分类能力,为该领域未来的进展提供了宝贵的见解。
Sep, 2023
通过使用扩散模型的生成反馈来提高模型的鲁棒性,减少视觉幻觉,并且不需要额外的训练模块和更少的训练参数,DEEM 优于其他交替内容生成模型。
May, 2024
Stance detection is a crucial task in content analysis, and this paper presents a COLA framework that utilizes LLMs to handle multi-aspect knowledge, advanced reasoning, and collaborative agents to achieve state-of-the-art performance without additional data annotation or model training, emphasizing its usability, accuracy, effectiveness, explainability, and versatility.
Oct, 2023
使用大型语言模型(LLMs)的句子嵌入的最新研究提出,然而大部分现有的 LLMs 都建立在自回归架构上,主要捕捉正向依赖,忽视反向依赖。本文首先提出定量证据,证明 LLMs 对反向依赖的学习有限。然后,我们提出一种称为依赖增强大型语言模型(DeeLM)的新方法来改善句子嵌入。具体而言,我们发现在 LLMs 中存在一个转折点,当超过特定的 LLM 层时,语义文本相似性(STS)任务的性能显著下降。STS 是评估句子嵌入的关键任务。我们提取转折点后的层使其双向,从而实现对反向依赖的学习。大量实验证明,DeeLM 优于基线方法,在各种 STS 任务中实现了最先进的性能。
Nov, 2023
使用多模态信息、上下文和情感知识调整的对话型大型语言模型 (DialogueLLM),通过对 13,638 个多模态(文本和视频)情感对话进行微调,克服了大型语言模型在情感识别方面的局限性,并在三个基准情感对话识别数据集上进行了全面评估。
Oct, 2023
大语言模型在辨别新闻文章真实性方面,面临真实性和错误漫游的挑战,本研究提出了 DELL 来结合 LLMs,通过生成新闻反应、生成解释和合并专家等三个关键阶段,提高了误报检测的准确性。
Feb, 2024
本研究评估了立场检测方法的演变,从早期的机器学习方法过渡到划时代的 BERT 模型,最终到现代的大语言模型(LLMs),如 ChatGPT、LLaMa-2 和 Mistral-7B。结果强调了 LLMs 在准确检测立场方面的卓越能力,LLaMa-2 和 Mistral-7B 表现出极高的效率和潜力,值得进一步研究。
Apr, 2024
我们介绍了一种名为 ExpeL 的经验学习代理,它可以自主地收集经验并从训练任务的语料库中提取知识,通过回想其提取的洞察和过去的经验做出明智的决策,我们的实证结果突出了 ExpeL 代理的强大学习效果,并展示了其在性能上的持续增强以及迁移学习潜力。
Aug, 2023
分析了使用大型语言模型在社交媒体中自动进行文本标注的效果和准确性,并探讨了人工标注者与模型的判断差异,发现模型通常在人工标注者很难达成一致意见的情况下表现不佳,对于进一步提高自动立场检测的准确性和全面性,建议综合运用人工专业知识和模型预测的方法。
Jun, 2024