本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

Dec, 2022

研究通过探索三种基于 transformer 的语言模型在文本中检测负罪感的适用性，并比较它们在一般情绪检测和负罪感检测中的性能，发现我们提出的模型的性能较 BERT 和 RoBERTa 模型分别高出两点和一点。此外，通过对结果的定性分析，我们评估了模型在检测与 “羞愧” 等相关情绪方面的有效性，并分析了开发准确的负罪感检测模型所面临的挑战。

Jan, 2024

社交媒体平台在危机传播中起着重要作用，但由于其非正式性质，分析危机相关的社交媒体文本具有挑战性。为了解决危机信息学文献中的这些差距，本研究引入了 CrisisTransformers，这是一个预训练语言模型和句子编码器的集合，它们经过广泛的语料库训练，包含了超过 150 亿词元的推文，涉及 30 多个危机事件，包括疾病爆发、自然灾害、冲突和其他重大事件。评估现有模型和 CrisisTransformers 在 18 个危机特定的公共数据集上表现，我们的预训练模型在所有数据集的分类任务中都优于强基线，而我们表现最佳的句子编码器在句子编码任务中将现有技术水平提高了 17.43%。此外，我们研究了模型初始化对收敛性的影响，并评估了领域专用模型在生成语义有意义的句子嵌入中的重要性。所有模型已公开发布，以期成为分析危机相关社交媒体文本任务的强大基准。

Sep, 2023

该研究探索了 transformer 模型，发现 ALBERT 在检测印尼语假新闻方面表现最佳

Aug, 2023

通过预训练的 BERT 模型实现传递学习来增加情感分类的准确性，虽然结果完全正确，但仍需要进一步研究来验证模型的泛化能力。

Nov, 2023

采用 BERT 表示法，利用混合增强的深度学习算法对印度尼西亚情感分析进行了研究，并展示 BERT 表示法可以提高所有混合架构的准确性。在 BERT 基础上的 LSTM-CNN 准确性略高于其他 BERT 基础混合架构。

Nov, 2022

探讨使用预训练的 transformer 模型来检测包含大量敏感信息或已知敏感内容的句子，通过对 Monsanto 测试数据集的实验发现，使用 BERT 模型可以更好地检测敏感信息，从而预防应急信息泄漏。

Mar, 2022

本文研究了如何在情感计算中应用自然语言理解技术，通过对不同 transformers 语言模型在细粒度情感数据集上的微调并对其性能（F1 度量）和完成时间进行评估。

Apr, 2021

本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

Jul, 2020

本文利用小型数据集对比了双向 LSTM 模型和预训练 BERT 模型的表现，结果表明对于小数据集，使用双向 LSTM 模型的性能显著优于使用 BERT 模型，且训练时间更短，因此在选择模型时需要考虑任务和数据等因素。

Sep, 2020