Apr, 2021

情感识别中的 Transformer 探索：BERT、DistillBERT、RoBERTa、XLNet 和 ELECTRA 的比较

PDF
TL;DR本文研究了如何在情感计算中应用自然语言理解技术，通过对不同 transformers 语言模型在细粒度情感数据集上的微调并对其性能（F1 度量）和完成时间进行评估。
发现论文，激发创造
  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022

  • 基于 Transformer 的情感检测：一项比较研究

    本研究探讨了基于 Transformer 模型在文本数据情感分类上的应用。我们训练和评估了几种预训练 Transformer 模型，并对 Transformer 层的微调、可训练性以及文本数据预处理等因素进行了分析。我们的分析发现，常用的技术，如去除标点符号和停用词，可能会影响模型的性能。这可能是因为 Transformer 模型的优势在于理解文本中的上下文关系，而标点符号和停用词仍然可以传达情感或强调，去除它们可能会破坏这种上下文。

    Mar, 2024

  • 基于 Transformer 的情感检测方法

    本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

    Mar, 2023

  • 基于 Transformer 模型的临床关系提取

    研究比较了 BERT、RoBERTa 和 XLNet 三种 transformer 模型在临床关系抽取方面的性能，发现 RoBERTa-clinical 以 0.8958 的 F1-score 在 2018 MADE1.0 数据集上表现最好，XLNet-clinical 以 0.9610 的 F1-score 在 2018 n2c2 数据集上表现最好。在生物医学领域中，研究者们可以使用我们开发的开源工具包进行进一步的相关 NLP 任务分析。

    Jul, 2021

  • 基于 Transformer 的文本罪犯检测

    研究通过探索三种基于 transformer 的语言模型在文本中检测负罪感的适用性，并比较它们在一般情绪检测和负罪感检测中的性能，发现我们提出的模型的性能较 BERT 和 RoBERTa 模型分别高出两点和一点。此外，通过对结果的定性分析，我们评估了模型在检测与 “羞愧” 等相关情绪方面的有效性，并分析了开发准确的负罪感检测模型所面临的挑战。

    Jan, 2024

  • 基于 Transformer 的自然语言理解任务压力测试

    本文通过对三种基于 Transformer 的模型（RoBERTa，XLNet 和 BERT）在自然语言推断（NLI）和问答（QA）任务中的评估研究，发现这些模型在脆弱性测试中表现比循环神经网络模型更鲁棒，但仍具有各种意外行为，展示了在这个领域仍有改进的空间

    Feb, 2020

  • 基于 Transformer 的对话情绪识别的神经网络

    ISDS-NLP 团队在 SemEval 2024 任务 10 中提出了 EDiReF 方法，采用了掩码语言模型和因果语言模型两种不同的方法，研究了多语种设置下对情感进行预测的效果，并发现掩码语言模型在句子级情感分类方面的性能优于 Mistral 模型。

    May, 2024

  • 模糊指纹变换语言模型在对话情绪识别中的应用

    本论文将 Fuzzy Fingerprints 与 RoBERTa 相结合，在 Emotion Recognition in Conversations（ERC）任务中获得了最先进的结果，并提供了更简单和可解释性更强的 Large Language Models-based 分类器。通过将发言及其以前的对话转化为上下文嵌入的发言表示，并将其提供给改进的 Fuzzy Fingerprint 分类模块，我们在广泛使用的 DailyDialog ERC 基准数据集上验证了我们的方法，获得了更轻的模型的最先进水平的结果。

    Sep, 2023

  • EmotionX-IDEA: 情感 BERT—— 一种面向对话的情感模型

    本文研究了预训练语言模型 BERT 在情感识别中的能力。通过 BERT 的框架和两句话的结构，我们将其应用于连续对话情感预测任务中，并依赖于句子级上下文感知理解。实验表明，通过将连续对话映射到因果话语对中，该模型能更好地捕获回复话语的情感。该方法在 Friends 和 EmotionPush 的测试数据集中取得了 0.815 和 0.885 微型 F1 分数。

    Aug, 2019

  • 探究语音情感识别变形金刚在语言知识方面的应用

    本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

    Apr, 2022