利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

EMNLPDec, 2022

利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

Improving the Generalizability of Text-Based Emotion Detection by Leveraging Transformers with Psycholinguistic Features

PDF

Sourabh Zanwar, Daniel Wiechmann, Yu Qiao, Elma Kerz

TL;DR本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

Abstract

In recent years, there has been increased interest in building predictive models that harness natural language processing and machine learning techniques to detect emotions from various text sources, including so

natural language processing machine learning emotion detection transformer models psycholinguistic features

发现论文，激发创造

基于 Transformer 的情感检测：一项比较研究

本研究探讨了基于 Transformer 模型在文本数据情感分类上的应用。我们训练和评估了几种预训练 Transformer 模型，并对 Transformer 层的微调、可训练性以及文本数据预处理等因素进行了分析。我们的分析发现，常用的技术，如去除标点符号和停用词，可能会影响模型的性能。这可能是因为 Transformer 模型的优势在于理解文本中的上下文关系，而标点符号和停用词仍然可以传达情感或强调，去除它们可能会破坏这种上下文。

Mar, 2024

基于 Transformer 的情感检测方法

本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

Mar, 2023

基于 Transformer 的文本罪犯检测

研究通过探索三种基于 transformer 的语言模型在文本中检测负罪感的适用性，并比较它们在一般情绪检测和负罪感检测中的性能，发现我们提出的模型的性能较 BERT 和 RoBERTa 模型分别高出两点和一点。此外，通过对结果的定性分析，我们评估了模型在检测与 “羞愧” 等相关情绪方面的有效性，并分析了开发准确的负罪感检测模型所面临的挑战。

Jan, 2024

从语言行为出发的人格检测：一个 Transformer 结合了心理语言学特征文字轮廓

本文介绍基于语言使用进行人格预测的交叉性研究，报道了用于文本数据的最全面的心理语言学特征和混合模型的两个主要改进，实验结果表明，这些模型优于同一数据集上的现有工作，并通过对心理语言学特征的不同类别进行消融实验来量化其影响。

Apr, 2022

使用深度学习技术对短英文文本进行情感分类

使用深度学习技术和 BERT 文本嵌入方法，对来自资源匮乏语言的有限文本数据集进行情感识别的研究，通过介绍 SmallEnglishEmotions 数据集验证了这些方法在准确分类数据集中的优越性。

Feb, 2024

使用 Transformer 模型进行 Emoji 预测

本研究提出了一种基于 BERT 的 transformer 方法来预测文本中最合适的 emoji 表情符号，实验结果表明我们的方法的准确性高于其他几种先进的模型，这个方法有潜在的在自然语言处理、情感分析和社交媒体营销的应用。

Jul, 2023

探究语音情感识别变形金刚在语言知识方面的应用

本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

Apr, 2022

情感识别中的 Transformer 探索：BERT、DistillBERT、RoBERTa、XLNet 和 ELECTRA 的比较

本文研究了如何在情感计算中应用自然语言理解技术，通过对不同 transformers 语言模型在细粒度情感数据集上的微调并对其性能（F1 度量）和完成时间进行评估。

Apr, 2021

利用情感特征提高情感分类的 Transformer 性能

介绍了 PVGs AI Club 团队在 WASSA 2022 举办的情感分类共享任务中的方法。使用基于转换器模型的基准，并基于情感特定表示的两个变体，利用集成技术改善了性能，最终达到了情感分类任务的 0.619 的准确度和 0.520 的宏 F1 分数。

Apr, 2022

基于大型预训练语言模型的实用文本分类

本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。

Dec, 2018