Jan, 2022

BERT 用于情感分析：预训练和微调的替代方案

PDF
TL;DR本文进行了一项针对语言模型 BERT 的情感分析任务的实验性研究，重点分析了如何更好地处理 BERT 输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现 BERT 在大多数情况下与 TF-IDF 相比取得了更高的预测性能，但 TF-IDF 在预测性能和计算成本之间达到了良好的平衡。
bertnlptransfer learningsentiment analysisbrazilian portuguese
发现论文，激发创造
  • 从词袋到 transformers: 面向巴西葡萄牙语用户评论的文本分类嵌入生成

    本文分享了实验的结果，探讨在自然语言处理领域中，以仿射变换为基础的学习模型（Transformer-based Language Models，简称 TLM）作为最佳模型，实现对巴西葡萄牙语用户评论的情感分析，该研究对 Bag-of-Words 到 Transformer-based NLP 模型进行了评估。

    Dec, 2022

  • BERT 与传统机器学习文本分类的比较

    本文通过实验测试，比较机器学习中经典的 TF-IDF 法与 BERT 模型在 NLP 任务中的表现，并为使用 BERT 模型提供了实证支持，结果表明 BERT 模型在 NLP 问题中表现更优秀、更独立。

    May, 2020

  • BERT 的通用文本表示：一项实证研究

    该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

    Oct, 2019

  • 针对越南评论的情感分析 BERT 微调

    本文介绍了使用 BERT fine-tuning 方法处理越南评论数据集中情感分析任务的实验结果，并且发现相比于使用 GloVe 和 FastText，使用 BERT 模型略胜一筹。同时，本文研究提出的 BERT fine-tuning 方法也比原模型表现更好。

    Nov, 2020

  • 旅游中的情感分析：BERT 微调还是句子嵌入串接？

    比较研究了 Fine-Tuning 的 Bidirectional Encoder Representations from Transformers 和一种将两个嵌入进行串联以提高堆叠的 Bidirectional Long Short-Term Memory-Bidirectional Gated Recurrent Units 模型性能的方法，将这两种方法应用于摩洛哥购物地点的情感分析，并在两种方法的学习率和最佳优化器之间进行了比较。

    Dec, 2023

  • FinBERT：使用预训练语言模型进行金融情感分析

    本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

    Aug, 2019

  • 使用 BERT-CRF 进行葡萄牙语命名实体识别

    本研究使用神经网络进行语言表示，探讨在葡语 NER 任务中使用 Portuguese BERT 和 BERT-CRF 结构的转移学习能力，采用基于特征和微调的训练策略，最终实现了比现有最优模型更好的结果。

    Sep, 2019

  • 使用 BERT 进行细粒度情感分类

    本文中，我们使用一种称为 BERT 的深度学习模型来解决细粒度情感分类任务，并证明了其在自然语言处理中的转移学习的有效性。实验结果表明，我们的模型在此任务中的表现优于其他流行模型，而不需要复杂的架构。

    Oct, 2019

  • 使用多语言 BERT 进行零样本跨语言迁移中的特征聚合

    本文探讨了利用 mBERT 最后一个 transformer 层以外的信息，采用基于 attention 机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在 XNLI、PAWS-X、NER、POS 等关键领域任务中，该方法在零 - shot Cross-lingual 下具有良好的性能提升，并且探讨了 mBERT 的可解释性。

    May, 2022

  • SemEval-2017 任务 4: 使用 BERT 进行 Twitter 情感分析

    使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT BASE 模型，该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型，在二分类子任务中表现更好，我们还在实验过程中考虑了所有种类的伦理问题，因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。

    Jan, 2024