EMNLPOct, 2023

使用监督对比学习对轻量级语言模型进行情感翻新

PDF
TL;DR我们提出了一种新颖的改进方法，用于将情绪方面引入预训练语言模型（如 BERT 和 RoBERTa）。通过对比学习更新预训练网络权重，使表现出类似情绪的文本片段在表示空间中靠近编码，而具有不同情绪内容的片段则被推开。我们的方法对 PLMs 进行了改进，即 BERTEmo 和 RoBERTaEmo，生成了情绪感知的文本表示，通过不同的聚类和检索指标进行评估。在情感分析和讽刺检测的下游任务中，它们比预训练模型表现得更好（F1 分数提高约 1%），且在少样本学习中观察到了更显著的性能提升。
retrofitting methodemotion aspectspre-trained language modelscontrastive learningsentiment analysis
发现论文，激发创造
  • 基于 Transformer 的对话情绪识别的神经网络

    ISDS-NLP 团队在 SemEval 2024 任务 10 中提出了 EDiReF 方法，采用了掩码语言模型和因果语言模型两种不同的方法，研究了多语种设置下对情感进行预测的效果，并发现掩码语言模型在句子级情感分类方面的性能优于 Mistral 模型。

    May, 2024

  • 情感识别对话的受监督原型对比学习

    本文提出了一种基于监督原型对比学习和课程学习的方法，旨在解决情感识别中遇到的不平衡分类问题，其不需要大的批量比对。对应用该方法进行的三项基准测试的结果表明其取得了最佳效果，并且分析实验进一步证明了其有效性。

    Oct, 2022

  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022

  • 使用大型语言模型增强讽刺检测中的情感特征

    本研究介绍了一种用于讽刺检测的新方法，采用基于提示的学习的大型语言模型（LLMs）来促进以情感为中心的文本增强。与传统的讽刺检测技术相比，通常由于依赖静态的语言特征和预定义的知识库，往往忽视了讽刺中至关重要的微妙情感维度。相反，我们的方法通过将微妙的情感线索与经过增强的 LLMs 相结合，整合到三个广泛应用于讽刺检测中的基准预训练 NLP 模型（BERT、T5 和 GPT-2）中来增强检测过程。我们使用 SemEval-2018 Task 3 数据集评估了我们的方法，并观察到在讽刺检测能力方面得到了显著的增强。

    Apr, 2024

  • EmoLLMs：一系列用于全面情感分析的情感大型语言模型和注释工具

    基于指令数据微调各种 LLMs 的 EmoLLMs 系列兼具情感分类和回归任务的综合情感分析模型，在各类任务中超越了现有的 LLMs、ChatGPT 和 GPT-4，具有与 ChatGPT 和 GPT-4 相当的情感分析自动化标注工具的广泛应用能力。

    Jan, 2024

  • 基于大型预训练语言模型的实用文本分类

    本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。

    Dec, 2018

  • RobustSentEmbed: 使用对抗自监督对比学习获得鲁棒的句子嵌入

    本文介绍了 RobustSentEmbed，这是一个自监督的句子嵌入框架，旨在改善自然语言处理任务中的泛化能力和对抗性环境中的鲁棒性。通过生成高风险对抗扰动并利用新颖的目标函数，RobustSentEmbed 能够熟练学习高质量且鲁棒的句子嵌入。实验证实了 RobustSentEmbed 优于最先进的表示方法的优越性，尤其是对于各种对抗性攻击，BERTAttack 的成功率从 75.51% 降低至 38.81%。该框架还在语义文本相似性任务和各种迁移任务中分别实现了 1.59% 和 0.23% 的改进。

    Mar, 2024

  • 使用释义改进上下文化词嵌入

    本文章探讨了，如何通过给上下文动态变化的词嵌入模型增加同义词的语境来提高模型的稳定性，提出了一种基于改造的方法并在各种句子分类和语言推理任务中进行了实验，结果表明该方法可以有效提高模型性能。

    Sep, 2019

  • 针对专门的情感识别任务定制通用的大型语言模型

    通过使用大型语言模型，在情感识别领域中研究了 LLMs 的性能，发现其在语言情感识别任务中具有强大的迁移性和可行性。

    Oct, 2023

  • 通过对比学习提高预训练语言模型对实体和关系理解的能力 - ERICA

    该论文提出了一种对文本中的实体和关系进行深入理解的新型对比学习框架 ERICA，可显著提高预训练语言模型在低资源环境下的关系提取，实体类型和问题回答等多个语言理解任务的性能表现。

    Dec, 2020