大型语言模型用于方面级情感分析
本篇论文研究了使用预训练语言模型在情感分析任务,尤其是针对少量数据的方面 - 基础情感分析,提出了一种生成式语言模型来处理抽取方面、抽取类别、预测极性等任务,并证明了这种方法在多任务、少样本学习上比以前的方法有更好的表现。
Apr, 2022
在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现,同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现,并探讨了 GPT-3 模型优势和局限性。
May, 2020
使用生成预训练变换器(GPTs)的全方位评论情感分析模型(AiO)在少样本数据的情况下能够有效处理所有 ABSA 子任务。
Apr, 2024
本文提出了一个统一的框架来解决基于方面的情感分析(ABSA)及其相关子任务,通过在多任务学习模式下使用 T5 模型,通过教学提示进行 fine-tuning,并在多个基准数据集上实现了表现提升(F1 绝对值增加了 6.75),特别是在少样本情况下。
Oct, 2022
通过比较生成型 AI 模型和经过细调的 LLMs,在文本分类任务中,利用应用特定训练数据进行细调的模型表现优异,从而验证了生成型 AI 模型在兑现其承诺方面存在问题。
Jun, 2024
自动短答案评分(ASAG)是一个活跃的机器学习研究领域已有十多年的时间。它承诺即使在人工评分师有限的情况下,让教育者对大班课中的自由回答进行评分和反馈。近年来,经过精心训练的模型已经取得了越来越高的性能水平。最近,预训练的大型语言模型(LLMs)作为一种通用工具出现了,并且引发了一个有趣的问题,即没有额外训练的通用工具与专门模型相比如何。我们研究了 GPT-4 在标准基准 2 路和 3 路数据集 SciEntsBank 和 Beetle 上的性能,除了评分学生答案与参考答案的对齐标准任务外,还研究了不透露参考答案的情况。我们发现,总体而言,预训练的通用 GPT-4 LLM 的性能与手工设计的模型相当,但比经过专门训练的 LLMs 差。
Sep, 2023
金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用,最近,大型语言模型在不同领域展示了显著的能力,对于各种自然语言处理任务,甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而,在金融情绪分析的背景下,它们的潜力和适用性尚未得到全面探索。为了弥补这一空白,我们采用了两种方法:上下文学习(重点关注 gpt-3.5-turbo 模型)和对金融领域数据集进行微调的 LLM。我们的结果表明,经过微调的较小 LLM 即便参数较少、训练数据集较小,也能够实现与最先进经过微调的 LLM 可比较的性能。此外,LLM 的零样本和一样本性能与经过微调的较小 LLM 和最先进的结果相当。此外,我们的分析表明,增加上下文学习的样本数量,并没有提高金融领域情绪分析的性能。
Dec, 2023
本研究通过 33,605 条孟加拉文新闻推文和 Facebook 评论创建了一个庞大的手动注释数据集,并对 Flan-T5、GPT-4 和 Bloomz 等多种语言模型进行了零指导和少量指导的上下文学习,与精细调优模型进行了比较分析。研究结果表明,在零指导和少量指导的场景下,单语言变换器模型始终优于其他模型。为了促进进一步的研究探索,我们打算向更广泛的研究社区公开提供这个数据集和我们的研究工具。
Aug, 2023
LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比,LM-BFF 组合的技术在低资源环境下具有显著改进,最高可达 30%,平均提高 11%。
Dec, 2020
我们在这项工作中,首次对多种大语言模型(LLMs)进行了全面评估,包括 Alpaca、Alpaca-LoRA 和 GPT-3.5,针对在线文本数据中的各种心理健康预测任务。我们进行了广泛的实验,涵盖了零样本提示、少样本提示和指令微调。研究结果表明,对于心理健康任务,LLMs 在零样本和少样本提示设计上具有有限但有希望的性能。更重要的是,我们的实验表明,指令微调可以显著提升 LLMs 在所有任务上的表现。我们最佳微调模型 Mental-Alpaca 在平衡精度上比 GPT-3.5(规模大 25 倍)高出 16.7%,并与最先进的任务特定模型相媲美。我们总结了一系列行动指南,供未来的研究人员、工程师和实践者参考,介绍如何赋予 LLMs 更好的心理健康领域知识,并成为心理健康预测任务的专家。
Jul, 2023