ACLMay, 2020

SentiBERT：一种可迁移的基于 Transformer 的组合情感语义架构

PDF
TL;DR本文介绍一种使用二进制组合成分句法树的上下文化表示法的改进型 BERT 模型 - SentiBERT，可有效地捕捉语义组合的情感语义。使用细致的实验证明，SentiBERT 在短语级情感分类方面具有竞争力，并且其他情感分类任务和相关任务均可使用从 SST 短语级注释中学习的情感组成部分进行转化；此外，还进行了消融研究和设计可视化方法以了解 SentiBERT 的性能，结果表明 SentiBERT 比基线模型更擅长捕捉否定和对比关系，模拟情感组成语义的建模。
sentibertbertsentiment analysiscompositional semanticsphrase-level annotations
发现论文，激发创造
  • SemEval-2017 任务 4: 使用 BERT 进行 Twitter 情感分析

    使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT BASE 模型，该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型，在二分类子任务中表现更好，我们还在实验过程中考虑了所有种类的伦理问题，因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。

    Jan, 2024

  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022

  • 使用 BERT 进行细粒度情感分类

    本文中，我们使用一种称为 BERT 的深度学习模型来解决细粒度情感分类任务，并证明了其在自然语言处理中的转移学习的有效性。实验结果表明，我们的模型在此任务中的表现优于其他流行模型，而不需要复杂的架构。

    Oct, 2019

  • 利用 BERT 进行端到端方面情感分析

    本文探讨了预训练语言模型中上下文化嵌入的建模能力，并使用简单明了的神经基线处理端到端方面的情感分析任务。实验结果表明，即使使用简单的线性分类层，我们基于 BERT 的架构的性能也能超过最新的方法。此外，我们还使用保留验证数据集来标准化比较研究，这是之前的工作往往忽略的，因此，我们的工作可以作为 E2E-ABSA 的 BERT 基准。

    Oct, 2019

  • SBERT 研究意义表示：将句子嵌入分解为可解释的语义特征

    该论文介绍了一种新的基于 semantically structured sentence BERT embeddings（S^3BERT）的方法，通过近似可解释的 AMR 图表特征的方法将句子嵌入分解为语义特征，并通过 SBERT 教师模型的相似度打分来约束分解学习过程，从而保持神经嵌入的效力和效率。

    Jun, 2022

  • 基于 BERT 的卷积和循环神经网络组合用于印尼情感分析

    采用 BERT 表示法，利用混合增强的深度学习算法对印度尼西亚情感分析进行了研究，并展示 BERT 表示法可以提高所有混合架构的准确性。在 BERT 基础上的 LSTM-CNN 准确性略高于其他 BERT 基础混合架构。

    Nov, 2022

  • 金融情感分析的迁移学习和 Transformer 架构

    金融情感分析中的预训练语言模型和迁移学习原则可有效解决特殊的金融领域情感分析困难，同时考虑到像 COVID 这样疫情的因素，对两组不同数据进行情感分析，并使用较小的训练集对模型进行微调。

    Apr, 2024

  • 基于可转移 BERT 的故事结局预测

    本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

    May, 2019

  • Phrase-BERT：基于 BERT 的短语嵌入改进及应用于语料库探索

    本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

    Sep, 2021

  • SemEval-2022 任务 11 中的多语言人士：基于 Transformer 的复杂 NER 架构

    本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

    Apr, 2022