Jan, 2024

基于 Transformer 的文本罪犯检测

PDF
TL;DR研究通过探索三种基于 transformer 的语言模型在文本中检测负罪感的适用性，并比较它们在一般情绪检测和负罪感检测中的性能，发现我们提出的模型的性能较 BERT 和 RoBERTa 模型分别高出两点和一点。此外，通过对结果的定性分析，我们评估了模型在检测与 “羞愧” 等相关情绪方面的有效性，并分析了开发准确的负罪感检测模型所面临的挑战。
language modelsdeep learning techniquesemotion detectionguilt detectiontransformer-based language models
发现论文，激发创造
  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022

  • 文本中的罪恶感检测：了解复杂情感的一步

    我们介绍了一项名为 “Guilt detection” 的新颖自然语言处理（NLP）任务，该任务专注于检测文本中的负罪感，我们创建了一个名为 VIC 的数据集，内容涵盖了三个现有情感检测数据集中的 4622 个文本，我们使用传统机器学习方法进行了实验，使用词袋和词项频率 - 逆文档频率特征，并获得了最高性能的模型的 72％的 f1 分数。这项研究为理解文本中的负罪感迈出了第一步，并为该领域的未来研究开启了大门。

    Mar, 2023

  • 基于 Transformer 的情感检测方法

    本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

    Mar, 2023

  • 基于 Transformer 的情感检测：一项比较研究

    本研究探讨了基于 Transformer 模型在文本数据情感分类上的应用。我们训练和评估了几种预训练 Transformer 模型，并对 Transformer 层的微调、可训练性以及文本数据预处理等因素进行了分析。我们的分析发现，常用的技术，如去除标点符号和停用词，可能会影响模型的性能。这可能是因为 Transformer 模型的优势在于理解文本中的上下文关系，而标点符号和停用词仍然可以传达情感或强调，去除它们可能会破坏这种上下文。

    Mar, 2024

  • GuReT：区分罪恶和遗憾相关文本

    人类决策和情绪，尤其是罪恶感和后悔的复杂关系，对行为和幸福感有重要影响。本研究介绍了一个数据集，专门研究罪恶感和后悔以及它们特有的文本标记之间的关系，填补了情感计算研究中的一个重要空白。我们将罪恶感和后悔识别视为二元分类任务，并采用三种机器学习和六种基于 Transformer 的深度学习技术来评估新创建的数据集。研究还采用了创新的思维链和思维树推理方法来评估模型的解释逻辑。结果表明，相较于最佳机器学习分类器的 85.3% 得分，基于 Transformer 的模型取得了明显的性能优势，达到了 90.4% 的宏 F1 分数，展示了它们在区分复杂情绪状态方面的优越能力。

    Jan, 2024

  • 情感识别中的 Transformer 探索：BERT、DistillBERT、RoBERTa、XLNet 和 ELECTRA 的比较

    本文研究了如何在情感计算中应用自然语言理解技术，通过对不同 transformers 语言模型在细粒度情感数据集上的微调并对其性能（F1 度量）和完成时间进行评估。

    Apr, 2021

  • 使用 Transformer 进行可解释的口语欺骗检测

    本文提出并评估了六种深度学习模型，包括 BERT（和 RoBERTa），MultiHead Attention，co-attentions 和 transformers，结果表明我们的基于 transformer 的模型可以提高自动化的欺骗检测性能（+2.11％的准确率），并显示与真实和欺骗陈述中 LIWC 特征使用相关的显着差异。

    Oct, 2022

  • 基于 Transformer 的大型语言模型检测反犹太主义仇恨言论

    我们研究了替代性的基于变压器的生成型 AI 技术，并开发了一种新的数据标注技术，证明了这些先进方法在应对仇恨言论检测中的比较有效性，强调在敏感环境中需要负责任和谨慎管理的 AI 应用。

    May, 2024

  • 使用深度学习技术对短英文文本进行情感分类

    使用深度学习技术和 BERT 文本嵌入方法，对来自资源匮乏语言的有限文本数据集进行情感识别的研究，通过介绍 SmallEnglishEmotions 数据集验证了这些方法在准确分类数据集中的优越性。

    Feb, 2024

  • 模糊指纹变换语言模型在对话情绪识别中的应用

    本论文将 Fuzzy Fingerprints 与 RoBERTa 相结合，在 Emotion Recognition in Conversations（ERC）任务中获得了最先进的结果，并提供了更简单和可解释性更强的 Large Language Models-based 分类器。通过将发言及其以前的对话转化为上下文嵌入的发言表示，并将其提供给改进的 Fuzzy Fingerprint 分类模块，我们在广泛使用的 DailyDialog ERC 基准数据集上验证了我们的方法，获得了更轻的模型的最先进水平的结果。

    Sep, 2023