旅游中的情感分析：BERT 微调还是句子嵌入串接？

Dec, 2023

旅游中的情感分析：BERT 微调还是句子嵌入串接？

Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?

Ibrahim Bouabdallaoui, Fatima Guerouate, Samya Bouhaddour, Chaimae Saadi, Mohammed Sbihi

TL;DR比较研究了 Fine-Tuning 的 Bidirectional Encoder Representations from Transformers 和一种将两个嵌入进行串联以提高堆叠的 Bidirectional Long Short-Term Memory-Bidirectional Gated Recurrent Units 模型性能的方法，将这两种方法应用于摩洛哥购物地点的情感分析，并在两种方法的学习率和最佳优化器之间进行了比较。

Abstract

Undoubtedly that the bidirectional encoder representations from transformers is the most powerful technique in making natural language processing tasks such as Named Entity Recognition, Question & Answers or

bidirectional encoder representations from transformers natural language processing word tokenization techniques neural network architectures sentiment analysis

发现论文，激发创造

针对越南评论的情感分析 BERT 微调

本文介绍了使用 BERT fine-tuning 方法处理越南评论数据集中情感分析任务的实验结果，并且发现相比于使用 GloVe 和 FastText，使用 BERT 模型略胜一筹。同时，本文研究提出的 BERT fine-tuning 方法也比原模型表现更好。

Nov, 2020

基于 BERT 的卷积和循环神经网络组合用于印尼情感分析

采用 BERT 表示法，利用混合增强的深度学习算法对印度尼西亚情感分析进行了研究，并展示 BERT 表示法可以提高所有混合架构的准确性。在 BERT 基础上的 LSTM-CNN 准确性略高于其他 BERT 基础混合架构。

Nov, 2022

BERT 用于情感分析：预训练和微调的替代方案

本文进行了一项针对语言模型 BERT 的情感分析任务的实验性研究，重点分析了如何更好地处理 BERT 输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现 BERT 在大多数情况下与 TF-IDF 相比取得了更高的预测性能，但 TF-IDF 在预测性能和计算成本之间达到了良好的平衡。

Jan, 2022

通过转移学习的自然语言处理研究：情感分析实证研究

通过预训练的 BERT 模型实现传递学习来增加情感分类的准确性，虽然结果完全正确，但仍需要进一步研究来验证模型的泛化能力。

Nov, 2023

使用预训练编码器进行文本摘要

本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

Aug, 2019

使用 BERT 进行细粒度情感分类

本文中，我们使用一种称为 BERT 的深度学习模型来解决细粒度情感分类任务，并证明了其在自然语言处理中的转移学习的有效性。实验结果表明，我们的模型在此任务中的表现优于其他流行模型，而不需要复杂的架构。

Oct, 2019

利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

Dec, 2022

基于知识增强的双层注意力网络用于情感分析

本研究提出了一种基于双向长短期记忆的新型两层注意网络，利用 WordNet 生成知识图嵌入来提高情感分析的预测能力，将其与基于支持向量回归和多层感知机网络的监督模型相结合，实验结果表明该模型在 SemEval 2017 上表现优于顶尖系统，分别将 Sub-tracks 1 和 2 的准确率提高了 1.7 和 3.7 个百分点。

May, 2018

基于 Transformer 的情感检测方法

本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

Mar, 2023

基于深度学习的医学文本情感分析

本研究使用双向编码器表示来自转换器（BERT）的基本预训练模型，并在输出层使用卷积神经网络（CNN）、全连接网络（FCN）和图卷积网络（GCN）等模块进行实验和分析。结果表明，在与 BERT 等预训练模型结合使用较小的医学文本数据集进行训练时，CNN 模型优于其他网络。该研究强调了在医学领域实现有效情感分析中模型选择的重要性，并为未来研究开发更高效的模型架构提供了参考。

Apr, 2024