RoBERTa-BiLSTM:一种用于情感分析的上下文感知混合模型
采用 BERT 表示法,利用混合增强的深度学习算法对印度尼西亚情感分析进行了研究,并展示 BERT 表示法可以提高所有混合架构的准确性。在 BERT 基础上的 LSTM-CNN 准确性略高于其他 BERT 基础混合架构。
Nov, 2022
我们提出了 TRABSA,这是一个混合框架,整合了基于 transformer 的结构、注意机制和 BiLSTM 网络,用于情感分析。我们使用 RoBERTa 训练了 124M 条推文,填补了情感分析基准的差距,确保了最先进的准确性,并通过在 32 个国家和美国各州的推文数据集上做实验,比较了六种单词嵌入技术和三种基于词汇的标记技术,选出了最佳组合以实现最佳情感分析。TRABSA 以 94% 的准确率优于传统机器学习和深度学习模型,并在精确率、召回率和 F1 得分方面取得了显著的提升。对多样化数据集的评估证明了其持续的优越性和泛化能力。SHAP 和 LIME 分析提升了解释性,增强了对预测的信心。我们的研究有助于疫情资源管理,促进资源规划、政策制定和疫苗策略。
Mar, 2024
本文采用基于转换器模型和双向 LSTM 网络的方法,结合心理语言学特征进行基于文本的情感检测,在两个基准数据集中表现出可比性,在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。
Dec, 2022
使用 BERT 嵌入 BiLSTM,发现将整个句子表示策略性地集成到每个单元格的句子表示中,可显著提高序列标注任务的 F1 得分和准确性。在包含 9 个数据集的序列标注任务中,涵盖了命名实体识别(NER)、词性标注和端到端基于方面的情感分析(E2E-ABSA),所有数据集的 F1 得分和准确率都有显著提高。
May, 2023
提出了 SA-BiLSTM 网络,用于 EmotionX 挑战中多情感预测,其联合运用双向 LSTM 和自我注意力网络实现对话语境下模糊情感的分类,测试集中在 Friends 和 EmotionPush 数据集上分别获得 59.6 和 55.0 的不加权准确度。
Jun, 2018
比较多个模型在高度倾斜的多标签仇恨言论数据集上进行毒性评论检测,结果表明 BERT、RNN 和 XLNet 对关联身份的偏见较不敏感,RoBERTa 的 Focal Loss 表现最佳,而 DistilBERT 则结合了良好的 AUROC 和低推理时间。
Jan, 2023
使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决,在训练数据量较小的分类任务中,BERT 是一个非常强大的大型语言模型。使用此模型进行实验时,我们使用了包含 12 个隐藏层的 BERT BASE 模型,该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型,在二分类子任务中表现更好,我们还在实验过程中考虑了所有种类的伦理问题,因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。
Jan, 2024
使用 GoEmotions 数据集评估情感分析模型的效能并扩展研究范围,发现 RoBERTa 模型在细粒度情感分类任务上表现出色,推动了情感分析能力的发展。
May, 2024
本文通过采用双向 LSTM 循环神经网络来区分类别 Twitter 上的人类账户和垃圾邮件机器人账户,实现对无先验知识的 Twitter 账户进行检测,以及不需要任何手工特征设计,最终得到良好的实验结果。
Feb, 2020
本研究采用词、字符和 Unicode 字节嵌入比较 bi-LSTM 和传统的 POS 标注器,在 22 种语言中取得了最优性能,并表明 bi-LSTM 对于训练数据大小和标签污染的敏感度被过高估计。
Apr, 2016