Jan, 2022

使用多任务学习和 BERT 嵌入进行极性和主观性检测

PDF
TL;DR本文提出了一种基于深度多任务学习的架构，通过使用预训练的 BERT 和 Glove 词向量嵌入，采用基于注意力机制的多任务模型，实现了情感极性和主观性检测，并且与先前的单任务和多任务模型进行了比较，提高了基准性能。
multitask learningdeep learningattention-based modelsbert embeddingspolarity and subjective detection
发现论文，激发创造
  • 面向主观多任务自然语言处理问题的基于模型的数据获取

    通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

    Dec, 2023

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019

  • 使用上下文化词嵌入向主观偏见检测迈进

    本研究使用基于 BERT 模型的集成模型在 Wiki 中性语料库上进行了全面实验，从而检测到了主观偏见，并提出了比 BERT large 更具先进性的方法，F1 得分上升了 5.6%。

    Feb, 2020

  • 低资源口语理解的多任务学习

    本研究探讨了多任务学习在语音处理中的优势，通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型，我们的模型虽然规模适中，但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争，并且在情感分类上表现与端到端模型相当。

    Nov, 2022

  • 深度记忆网络用于态度识别

    本文提出了一种利用端到端机器学习架构解决主体、情感分类、以及二者交互的深度记忆网络模型，其表现优于传统机器学习方法和当前最先进的深度学习模型。

    Jan, 2017

  • 多层次句子嵌入用于人格预测

    通过 AdaCos 损失函数对上层句子空间进行训练，并使用基于余弦相似度的新型损失函数进行微调，我们成功地将文本表示为多维空间中的向量，实现了在拥有复杂多级结构的数据集中进行文本分类的目标。

    May, 2023

  • 注意力和自监督语音嵌入对非语义语音任务的影响

    人类情绪理解对于推动对话技术走向主流至关重要。我们视语音情绪理解为一项感知任务，这是一个更加现实的设置。通过在 ACM Multimedia 2023 计算跨语音信息挑战（ComParE）中利用其丰富的多语种演讲者数据集和 ' 情感共享 ' 多标签回归目标，我们展示了不同基础模型的训练方案对于超越语音识别等非语义语音任务（例如情绪理解）的效果产生重要影响，尤其是针对多语种演讲者、目标标签的可变性以及回归数据集中的固有不平衡性，我们的结果表明，基于自注意力的轻量级序列模型 HuBERT-Large 相较于报告的基准线有 4.6% 的改进。

    Aug, 2023

  • 针对性情感分类的否定与推测的多任务学习

    本文中，我们提出了一种多任务学习方法，将来自句法和语义辅助任务的信息（包括否定和推测范围检测）结合起来，创建了更具鲁棒性的英语语言模型，以处理定向情感分析中的语言现象，经实验证明，基于多任务和通过语言建模的迁移学习都能提高模型性能，但总体表现仍有改进的空间。我们在此链接上发布了数据集和源代码。

    Oct, 2020

  • 利用多任务学习否定词改进情感分析

    本文提出了一种多任务方法，通过将否定信息显式地纳入情感分析模型中，以优于隐式学习否定。该方法采用级联神经体系结构，并选择性共享 LSTM 层，同时在多个标准英语数据集上分析了该方法的性能，包括其多种不同设置下的输入数据类型和数量。

    Jun, 2019

  • 基于注意力增强的端到端多任务学习在语音情感预测中的应用

    本文提出了一种增强的端到端框架，通过学习其他辅助任务和关注机制来获取更加稳健和更好地共享表示，以缓解传统系统中由于有限训练数据而导致的过拟合问题，提高语音情感识别性能。

    Mar, 2019