EMNLPOct, 2022

面向情感分析的词语和句子级情感感知预训练

PDF
TL;DR本文提出了一种新的基于情感的预训练语言模型 SentiWSP，结合了单词级别和句子级别的预训练任务，通过基于生成对抗网络的替换情感单词检测和对比学习的方法，使得该模型在情感分析任务中达到了最新的最佳性能表现。
pre-trained language representation modelssentiment analysis taskssentiwspword-level pre-training tasksentence-level pre-training task
发现论文，激发创造
  • SentiLARE: 基于情感意识的语言表示学习与语言知识

    为了提高 NLP 任务中的语言理解能力，在考虑了文本的语言学知识（例如词性标注和情感极性）的基础上，提出了一种新的语言表示模型 SentiLARE，并使用标签感知掩蔽语言模型进行预训练，实验结果表明 SentiLARE 在各种情感分析任务上取得了最新的最佳性能。

    Nov, 2019

  • 语言规范化 LSTMs 用于情感分类

    本研究提出了使用句子级别注释训练的简单模型，同时采用正则化方法，以模拟情感词汇、否定词和强度词汇的语言学角色，从而生成语言学相关的表示形式，并且能够捕捉情感、否定和强度词汇的情感转移效应，同时在不损失模型简洁性的前提下获得竞争性的结果。

    Nov, 2016

  • SKEP: 基于情感知识增强的预训练模型用于情感分析

    该研究引入了 Sentiment Knowledge Enhanced Pre-training（SKEP），旨在为多个情感分析任务学习统一的情感表示，并在实验中取得了新的最佳表现。

    May, 2020

  • 使用提示识别和测量预训练语言模型中令牌级情感偏见

    本文提出了两种基于 prompt tuning 的情感分析测试方法：情感联想测验（SAT）和情感转移测试（SST），用以检测 PLMs 中的潜在偏差，并表明 fine-tuning 可能会增加 PLMs 中现有的偏见。

    Apr, 2022

  • 基于有监督对比预训练学习因果隐含情感的方面情感分析

    采用超级对比预训练的方法，利用语言资源中的大规模情感注释语料库，对于产品评论中蕴含的明示和隐含情感表达进行预测，大幅提高对于细节方面表达情感的识别率，这种方法不仅在论文中实验证明了其有效性，还在 SemEval2014 基准测试集上取得了最好的表现。

    Nov, 2021

  • NLNDE at SemEval-2023 Task 12: 低资源多语言情感分析的自适应预训练和源语言选择

    通过利用语言自适应和任务自适应的预训练模型，本文针对非洲语言低资源性情感分析问题的特点，研究了基于预训练的语言模型的迁移学习方法，并发现将预训练模型适应到目标语言和任务上可以显著提高模型表现，选择具有积极转移增益的源语言可以避免干扰，这在多语言和跨语言设置中可以取得更好的结果。

    Apr, 2023

  • SentiCSE：一种基于情感的对比句嵌入框架，配备情感引导的文本相似度

    该研究提出了 Sentiment-guided Textual Similarity (SgTS) 方法来评估情感表示的质量，然后通过结合词级和句级目标的 Sentiment-aware Contrastive Sentence Embedding (SentiCSE) 框架构建情感表示，并展示了其在情感分析任务中的优越性能。

    Apr, 2024

  • 像素句子表示学习

    通过视觉表征学习方法及无监督学习，我们提出了一种对文本进行语义学习的框架，借鉴认知科学和语言学的概念，利用错别字和词序混排等方法进行文本扰动，实现对文本的连续感知，并通过大规模无监督主题对齐训练和自然语言推理监督，达到与现有自然语言处理方法相当的语义文本相似度性能，展示了方法的跨语言迁移能力和语言迭代训练中的独特突破模式。

    Feb, 2024

  • 利用大量弱监督数据进行多语言情感分类

    本文提出了一种新的多语言情感分类方法，使用了大量的弱监督数据训练多层卷积网络，通过在多种语言数据集上进行充分的评估，证明该方法的优异性能，达到了同类研究的最高水平。

    Mar, 2017

  • 利用句子位置嵌入增强预训练语言模型在法律观点的修辞角色识别中

    基于预训练语言模型（PLMs）和文档内句子位置信息知识的改进模型，自动预测法律意见书的修辞角色。通过在 LegalEval@SemEval2023 比赛注释的语料库上验证，我们的方法需要更少的参数，计算成本也更低，同时实现了出色的性能。此外，我们展示了在基于 BERT 的局部上下文的分层模型中增加更多注意力并结合句子位置信息会增强结果。

    Oct, 2023