DomBERT: 面向领域的语言模型用于基于方面的情感分析
本研究论文探讨了深度学习技术（尤其是 BERT 模型）在情感分析中的应用，介绍了情感分析的基本概念和深度学习方法的应用。通过详细的解释，阐明了 BERT 模型在情感分析中的应用效果和优化策略，并通过实验证实了这一点。实验结果表明 BERT 模型在情感分析任务中表现出强大的性能，经过微调后得到了显著的提升。最后，该论文总结了 BERT 模型在情感分析中的潜在应用和未来研究方向，以及实际实施的建议。
Mar, 2024
本文阐述了将领域自适应的 BERT 语言模型与半监督建模进行结合达到最优的 Aspect-Target Sentiment Classification ，并通过不同的数据集得出短语级别情感分类的最新成果，并通过交叉领域验证比较了自适应 BERT 的性能。
Aug, 2019
本论文中，我们提出了一种名为 DILBERT 的新的 fine-tuning scheme，用于处理在不同 domain 之间做 aspect extraction 的问题，该方法利用源 domain 和目标 domain 的分类信息，以指导 pre-training process 更好地适应不同的 domain 和 category，并在更具挑战性的 domain adaptation 问题上使用极少的无标签数据，从而在 state-of-the-art 的 baseline 上获得了显著的改进。
Sep, 2021
本文探讨了预训练语言模型中上下文化嵌入的建模能力，并使用简单明了的神经基线处理端到端方面的情感分析任务。实验结果表明，即使使用简单的线性分类层，我们基于 BERT 的架构的性能也能超过最新的方法。此外，我们还使用保留验证数据集来标准化比较研究，这是之前的工作往往忽略的，因此，我们的工作可以作为 E2E-ABSA 的 BERT 基准。
Oct, 2019
本文介绍了一个特定于网络安全领域的语言模型，利用预训练的 BERT 模型，构建了一个数据集，并基于该数据集进行了 fine-tuning，在 15 个不同的前沿任务中进行了比较，结果表明该模型在特定应用场景下表现最佳，并且在避免 catastrophic forgetting 方面效果良好。
Dec, 2022
本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。
Dec, 2022
本研究提出了一种基于句法导向域自适应模型的新颖跨领域 ABSA 方法，该方法利用句法结构相似性构建伪训练实例，同时引入一种基于句法的 BERT 掩码语言模型以进一步捕获领域不变特征；最后，为了减轻跨领域 End2End ABSA 中的情感不一致问题，引入了基于跨度的联合方面和情感模块。在五个基准数据集上的实验结果表明，与现有模型相比，我们的模型在跨领域 End2End ABSA 任务的微 F1 指标方面始终表现出色。
Nov, 2022
使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT BASE 模型，该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型，在二分类子任务中表现更好，我们还在实验过程中考虑了所有种类的伦理问题，因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。
Jan, 2024
本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。
Apr, 2019