May, 2020

COVID-Twitter-BERT：一个用于分析 Twitter 上 COVID-19 内容的自然语言处理模型

PDF
TL;DR该论文介绍了基于 transformer 的 COVID-Twitter-BERT 模型，通过对大量 Twitter 上有关 COVID-19 的消息进行预训练，该模型在五个不同的分类数据集上相较于 BERT-Large 基础模型提高了 10-30％，特别是在 COVID-19 内容（尤其是来自 Twitter 的社交媒体帖子）的分类中表现更突出，从而实现了优化。该模型可以用于文本分类、问答和聊天机器人等自然语言处理任务。
covid-twitter-berttransformer-based modelpretrained modelnatural language processingcovid-19
发现论文，激发创造
  • UIT-HSE 在 WNUT-2020 任务 2 中利用 CT-BERT 识别 Twitter 社交网络上的 COVID-19 信息

    以 COVID-Twitter-BERT (CT-BERT) 为基础的变形器模型和微调技术可以有效地识别有用的 COVID-19 相关的 Twitter 帖子，获得了 2020 年 W-NUT 共享任务 2 中排名第三的 F1 分数为 90.94％

    Sep, 2020

  • 基于 BERT 模型的 COVID-19 相关推文的虚假新闻检测和情感分析

    我们的团队 “techno” 参加了 CERIST'22 共享任务，利用自然语言处理工具和 BERT 预训练语言模型，对与 COVID-19 疫情有关的 4128 个推文进行了情感分析和 8661 个推文进行了虚假新闻检测任务，并获得了情感分析任务 0.93 的准确度和虚假新闻检测任务 0.90 的准确度。

    Apr, 2023

  • 使用 BERT 对具有信息价值的 COVID-19 推文进行分类的 WNUT-2020 任务 2 的 Dartmouth CS

    该篇论文描述了在 WNUT-2020 共享任务 2 中开发的针对 COVID-19 英文推文信息识别的系统。研究者团队利用 BERT 模型进行了文本分类任务，并且通过对 BERT 模型的微调以及将其嵌入特征与推文特定特征连接后再采用支持向量机（SVM）进行训练（即 BERT +），并与一组机器学习模型进行性能比较。结果表明 BERT + 模型在 F1-score 评估指标上得分最高为 0.8713。

    Dec, 2020

  • EdinburghNLP 在 WNUT-2020 任务 2 中的表现：利用通用数据增强和 Transformer 模型鉴别 COVID-19 推文中的信息量

    本文介绍了我们提交的 WNUT-2020 任务 2 的成果：识别信息量大的 COVID-19 英文推文的半监督学习转换器集成模型，它在测试集上取得了 0.9011 的 F1 值（排名第 7），与使用 FastText 嵌入的基准系统相比表现显著提高。

    Sep, 2020

  • 利用 CT-BERT 和集成学习进行 COVID-19 虚假新闻检测在 Constraint@AAAI2021 上的 g2tmn

    本文介绍了使用基于 Transformer 的 COVID-Twitter-BERT（CT-BERT）模型集合的方法来检测英文 COVID-19 虚假新闻的结果和表现。在约 166 个团队中，该方法在第一个共享任务的测试集上取得了最高的加权 F1 得分 98.69。

    Dec, 2020

  • 基于 Transformer 的自动 COVID-19 假新闻检测系统

    本文报告了一种基于 Transformer 模型（BERT、ALBERT 和 XLNET）的方法来分析 COVID-19 流行病期间社交媒体上共享信息的可靠性，以便快速检测假新闻，减少假信息的传播，该方法在 ConstraintAI 2021 共享任务 COVID19 Fake News Detection in English 中获得了 0.9855 的 f1 值，排名第 5。

    Jan, 2021

  • BERT-Deep CNN: COVID-19 推文情感分析的最新技术

    本文探讨利用 BERT 和 Deep CNN 模型通过社交媒体研究社会对 COVID-19 大流行的感知，证明了 BERT 模型在情感分析中的卓越性能。

    Nov, 2022

  • 基于 Transformer 的新冠病毒相关推文前提分类

    本文提出了基于 Transformer 架构的预测模型，用于在 Twitter 文本中分类前提的存在，具有与其他 Transformer 模型相比更好的性能，并在 Twitter 数据集上取得了有竞争力的表现。

    Sep, 2022

  • COVID-19 自动问答任务的语言模型质量评估

    本文利用 GPT-2 语言模型，结合 tf-idf、BERT、BioBERT、USE 四种过滤方法，开发了一款自动回答有关 COVID-19 的聊天机器人，并通过医学专家评估，发现 BERT 和 BioBERT 优于 tf-idf 和 USE，以提供正确、即时、有用的健康数据。同时，还创建了一款用户友好型的互动网络应用程序。

    Jun, 2020

  • 基于领域特定 Transformer 模型和文本过采样的 Covid-19 疫苗社交媒体帖子情感分析适应性

    本研究使用预训练的 transformer 模型对 Covid-19 疫苗相关的推文进行 fine-tune，结合 LMOTE 方法进行文本生成，来识别社交媒体帖子中与疫苗相关的正确情感。研究结果说明了文本生成对于预训练 transformer 模型 fine-tune 的适用性以及针对分类任务的领域特定 transformer 模型的效用。

    Sep, 2022