DynaSent: 一种情感分析动态基准测试
PerSenT 数据集包括了新闻文章中主要实体的情感分析,并提供了段落级别的情感注释以提供更精细的监督。该数据集的基准测试表明,这是一项困难的分类任务。该论文指出,使用 BERT 对文档级表示进行微调是不足够的,并且对整个文档进行段落级别的决策和聚合也是无效的。该数据集包含 5.3k 个文档和 38k 个段落,涵盖 3.2k 个独特的实体,是实体情感分析中的一个挑战。
Nov, 2020
该论文描述了 RuSentNE-2023 评估,该评估致力于对俄罗斯新闻文本中的目标情感进行分析。使用丰富的情感相关注释的俄语新闻语料库 RuSentNE 作为数据集。使用 CodaLab 竞赛框架组织了评估。ChatGPT 在测试集上进行了测试,并获得了 60%的 F - 度量,这在零 - shot 应用中可以被认为是相当高的。
May, 2023
提出了一个新的数据集和嵌套目标注释模式来扩展 open-domain 情感分析的实用性和有效性,运用预训练模型 BART 进行序列生成方法,结果表明 open-domain 目标情感分析领域有很大的改进空间,但是在使用 open-domain 数据、长文档、目标结构复杂性和领域差异上仍存在挑战。
Apr, 2022
介绍了一份英语长篇叙述的多类情感分析新数据集 (DENS),是由 Project Gutenberg 和 Wattpad 上的现代在线叙述组成,使用 Amazon Mechanical Turk 进行注释,其中,预训练的 BERT 模型微调的结果最佳,平均微型 F1 得分为 60.4%,该数据集提供了一个新的机会,需要超越现有的句子级技术进行情感分析。
Oct, 2019
本文探讨了在新闻标题中进行细粒度金融情感分析的任务和挑战,提出 SAEntFiN 1.0 数据集,并使用特征为基础的方法提取实体相关情感。使用 12 种不同的学习方案验证实验结果,RoBERTa 和 finBERT 的平均准确率和 F1 分数最高,同时使用 210,000 多个实体情感预测验证了情感对市场的影响。
May, 2023
本研究对二十四种正当实践的情感分析方法进行了基准比较,覆盖社交网络、电影、产品评论、新闻文章等十八个数据集,并提供了这些方法的代码和数据集以供使用。结果表明这些方法的预测性能在不同数据集上变化不大。
Dec, 2015
SentiGOLD 是一个 70,000 个样本的孟加拉跨领域情感分析数据集,包含 30 个领域和 5 个情感类别,是一个遵循国家语言委员会语言约定的标准语料库。
Jun, 2023
本文介绍了 SemEval-2020 任务 9 关于混合代码推文情感分析(SentiMix 2020)的结果,释放和描述了标记有单词级别语言识别和句子级别情感标签的 Hinglish(印地语 - 英语)和 Spanglish(西班牙语 - 英语)语料库。最好的表现是在 Hinglish 和 Spanglish 分别获得了 75.0% F1 得分和 80.6% F1 得分。观察到在比赛者中 BERT-like 模型和集合方法是最常见和成功的方法。
Aug, 2020
本文比较了多种机器学习方法以实现情感分析,并将它们结合起来以实现最佳结果,结果表明,很容易重现,这将简化进一步发展状态的艺术,因为其他研究人员可以轻松地将他们的技术与我们的技术相结合。
Dec, 2014
通过 AfriSenti-SemEval 共享任务,评估了 14 种非洲语言情感分析中当前最先进的转换器模型,比较了用单一模型处理所有语言与为每种语言训练一个模型之间的性能。结果表明,对非洲语言专门开发的模型在所有任务上表现出色,对于一些样本较小的语言,一个更大的多语言模型在情感分类上可能比专门针对该语言的模型表现更好。
Oct, 2023