Mar, 2024

基于 Transformer 的情感检测：一项比较研究

PDF
TL;DR本研究探讨了基于 Transformer 模型在文本数据情感分类上的应用。我们训练和评估了几种预训练 Transformer 模型，并对 Transformer 层的微调、可训练性以及文本数据预处理等因素进行了分析。我们的分析发现，常用的技术，如去除标点符号和停用词，可能会影响模型的性能。这可能是因为 Transformer 模型的优势在于理解文本中的上下文关系，而标点符号和停用词仍然可以传达情感或强调，去除它们可能会破坏这种上下文。
transformer-based modelsemotion classificationpre-trained transformer modelsperformance analysistext preprocessing
发现论文，激发创造
  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022

  • 基于文本的情感自动分类：不同数据集的比较探索

    本研究旨在探索情感分类中的新数据集和深度学习模型在数据特征不同时的表现，结果发现 RoBERTa 模型在所有情况下表现最佳，并测试了这些模型对实际社交媒体帖子的适用性。

    Feb, 2023

  • 使用深度学习技术对短英文文本进行情感分类

    使用深度学习技术和 BERT 文本嵌入方法，对来自资源匮乏语言的有限文本数据集进行情感识别的研究，通过介绍 SmallEnglishEmotions 数据集验证了这些方法在准确分类数据集中的优越性。

    Feb, 2024

  • 基于 Transformer 的文本罪犯检测

    研究通过探索三种基于 transformer 的语言模型在文本中检测负罪感的适用性，并比较它们在一般情绪检测和负罪感检测中的性能，发现我们提出的模型的性能较 BERT 和 RoBERTa 模型分别高出两点和一点。此外，通过对结果的定性分析，我们评估了模型在检测与 “羞愧” 等相关情绪方面的有效性，并分析了开发准确的负罪感检测模型所面临的挑战。

    Jan, 2024

  • 使用多语言预训练变压器量化文本情感的价值和唤起程度

    本研究利用预训练转换器对多语言和多领域的输入文本进行情感分析，使用基于趋势 - 唤醒维度的情感分析方法，比传统方法更细致地区分不同的情感，并发现模型大小对预测质量有显著影响，可自信地预测不同语言的趋势性和唤醒性。

    Feb, 2023

  • 利用情感特征提高情感分类的 Transformer 性能

    介绍了 PVGs AI Club 团队在 WASSA 2022 举办的情感分类共享任务中的方法。使用基于转换器模型的基准，并基于情感特定表示的两个变体，利用集成技术改善了性能，最终达到了情感分类任务的 0.619 的准确度和 0.520 的宏 F1 分数。

    Apr, 2022

  • 探究语音情感识别变形金刚在语言知识方面的应用

    本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

    Apr, 2022

  • 使用 Transformer 模型进行 Emoji 预测

    本研究提出了一种基于 BERT 的 transformer 方法来预测文本中最合适的 emoji 表情符号，实验结果表明我们的方法的准确性高于其他几种先进的模型，这个方法有潜在的在自然语言处理、情感分析和社交媒体营销的应用。

    Jul, 2023

  • 情感识别中的 Transformer 探索：BERT、DistillBERT、RoBERTa、XLNet 和 ELECTRA 的比较

    本文研究了如何在情感计算中应用自然语言理解技术，通过对不同 transformers 语言模型在细粒度情感数据集上的微调并对其性能（F1 度量）和完成时间进行评估。

    Apr, 2021

  • 基于大型预训练语言模型的实用文本分类

    本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。

    Dec, 2018