Simple Transformer 与 Res-CNN-BiLSTM 在网络欺凌分类中的性能比较

Jun, 2022

Simple Transformer 与 Res-CNN-BiLSTM 在网络欺凌分类中的性能比较

Performance Comparison of Simple Transformer and Res-CNN-BiLSTM for Cyberbullying Classification

Raunak Joshi, Abhishek Gupta

TL;DR本篇论文比较了基于 Transformer 和 Res-CNN-BiLSTM 的神经网络在针对网络欺凌文本分类问题上的性能表现，结果显示，使用仅有 0.65 万参数的 Transformer 可以以更快训练速度和更完备的度量标准胜过具有 4882 万参数的 Res-CNN-BiLSTM；同时，本文还比较了基于 1-dimension 字符级嵌入网络、100-dimension glove 嵌入网络和 Transformer 的性能差异。

Abstract

The task of text classification using Bidirectional based LSTM architectures is computationally expensive and time consuming to train. For this, transformers were discovered which effectively give good performance as compared to the traditional deep learning architectures. In this pape

text classification bidirectional lstm transformer res-cnn-bilstm cyberbullying

发现论文，激发创造

通过社交媒体克服由网络欺凌引起的心理健康问题的 Res-CNN-BiLSTM 网络

本文提出了一种基于 Res-CNN-BiLSTM 混合深度学习模型的方法，用于分析社交媒体上的文本语言数据，识别并处理基于宗教、种族、年龄和性别等因素的网络欺凌行为，以对心理健康问题进行干预。

Apr, 2022

小语料下 LSTM 和 BERT 的对比

本文利用小型数据集对比了双向 LSTM 模型和预训练 BERT 模型的表现，结果表明对于小数据集，使用双向 LSTM 模型的性能显著优于使用 BERT 模型，且训练时间更短，因此在选择模型时需要考虑任务和数据等因素。

Sep, 2020

基于合成数据的社交媒体网络的可信 LSTM-Autoencoder 网络用于网络欺凌检测

社交媒体网络欺凌对人类生活有不利影响。本文提出了一种可信赖的用于社交媒体网络欺凌检测的 LSTM-Autoencoder 网络，使用合成数据。通过生成机器翻译数据，我们展示了一种解决数据可用性困难的前沿方法。我们使用提出的模型和传统模型，包括 LSTM、双向 LSTM、LSTM-Autoencoder、Word2vec、BERT 和 GPT-2 模型，在 Hindi、Bangla 和英文数据集上进行了实验性的攻击性评论识别。我们使用 f1-score、准确度、精确度和召回率等评估指标来评估模型性能。我们的模型在所有数据集上性能优于其他模型，最高准确度达到了 95%。在本文中使用的数据集上，我们的模型实现了最新的研究成果。

Aug, 2023

RoBERTa-BiLSTM：一种用于情感分析的上下文感知混合模型

通过结合 RoBERTa 和 BiLSTM 网络的 RoBERTa-BiLSTM 混合深度学习模型，在情感分析中实现更好的性能。

Jun, 2024

利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

Dec, 2022

比较 CNN 和 LSTM 字符级嵌入在 BiLSTM-CRF 模型中用于化学和疾病命名实体识别

比较 LSTM 和 CNN 基于字符级别的词嵌入在 BiLSTM-CRF 模型中用于化学和疾病实体识别任务的效果。实验结果表明，使用任意一种字符级别嵌入方式都能使模型达到最先进的性能，但是基于 CNN 的字符级别嵌入模型具有计算性能优势，增加训练时间 25％，而基于 LSTM 的字符级别嵌入模型需要的训练时间则超过两倍。

Aug, 2018

基于 Transformer 的情感检测方法

本研究探讨了采用不同类型的最先进的转换器模型对文本分类的性能，发现其中 RoBERTa 模型在测试数据集上表现最佳，可用于文本中灾难的检测。此外，我们发现预处理技术，词汇表中单词的性质，不平衡标签和模型参数对学习算法的性能产生影响。

Mar, 2023

基于 BERT 的卷积和循环神经网络组合用于印尼情感分析

采用 BERT 表示法，利用混合增强的深度学习算法对印度尼西亚情感分析进行了研究，并展示 BERT 表示法可以提高所有混合架构的准确性。在 BERT 基础上的 LSTM-CNN 准确性略高于其他 BERT 基础混合架构。

Nov, 2022

Civil Comments 数据集上有害评论分类的基准

比较多个模型在高度倾斜的多标签仇恨言论数据集上进行毒性评论检测，结果表明 BERT、RNN 和 XLNet 对关联身份的偏见较不敏感，RoBERTa 的 Focal Loss 表现最佳，而 DistilBERT 则结合了良好的 AUROC 和低推理时间。

Jan, 2023

Transformer 与 LSTM 在电子交易中的对比

通过比较多种基于 LSTM 和 Transformer 的模型在高频限价盘数据上的多个金融预测任务中的表现，研究发现 Transformer-based 模型在绝对价格趋势预测方面仅具有有限优势，而基于 LSTM 的模型在价格差异和价格变动等差异序列预测方面表现更好且更稳健。

Sep, 2023