Sep, 2022

TwHIN-BERT：用于多语种推文具有社交增强的预训练语言模型

PDF
TL;DRTwHIN-BERT 是一种多语言语言模型，使用来自 Twitter 的专业领域数据进行训练，并通过具有基于 Twitter 异构信息网络（TwHIN）中丰富的社交互动的社交目标的训练使其不同于以前的预训练语言模型。我们在各种多语言社交推荐和语义理解任务上评估了我们的模型，并展示了相对于已建立的预训练语言模型的重大指标改进。
twhin-bertmultilingual language modeltwitter datasocial engagementpre-trained language models
发现论文，激发创造
  • BERTweet: 英文推文的预训练语言模型

    BERTweet 是第一个用于英语推文的公共大规模预训练语言模型，通过 RoBERTa 预训练程序进行训练并表现优于之前的最先进模型，可用于推文文本的各种任务。

    May, 2020

  • BERTuit：通过本地转换器理解 Twitter 上的西班牙语言

    BERTuit 是一个基于 RoBERTa 优化的大型转换器，其目的是为了更好地了解西班牙语 Twitter 并可用于解决该平台上的虚假信息传播问题。该模型在多项任务上进行了评估，并与其他最先进的多语言变压器进行了比较。

    Apr, 2022

  • TurkishBERTweet: 快速且可靠的社交媒体分析大型语言模型

    TurkishBERTweet 是第一个用于土耳其社交媒体的大规模预训练语言模型，使用近 9 亿条推文构建，其相对于 BERTurk 更轻量级且推理时间更短，在情感分类和仇恨言论检测等文本分类任务中表现优于其他可用的替代方法，并且与商业 OpenAI 解决方案相比具有可扩展性和成本效益。

    Nov, 2023

  • IndoBERTweet：印度尼西亚推特预训练语言模型，具有效领域特定词汇初始化

    本研究介绍了 IndoBERTweet，这是第一个大规模预训练的印度尼西亚语 Twitter 模型，它通过扩展单语训练的印度尼西亚 BERT 模型来训练，并使用了特定领域的词汇表。我们特别关注词汇不匹配下的有效模型适应性，并基准测试了不同的 BERT 嵌入层初始化方式，发现用平均 BERT 子词嵌入初始化可以使预训练速度提高五倍，并且在七个基于 Twitter 的数据集上使用外部评估比提出的词汇自适应方法更有效。

    Sep, 2021

  • XLM-T：用于社交媒体情感分析等多语言语言模型在 Twitter 中的应用

    本文介绍了 XLM-T 模型，用于在 Twitter 中训练和评估多语言语言模型，并提供了新的强大的多语言模型基线和一组统一的不同语言的情感分析 Twitter 数据集和针对它们进行的 XLM-T 模型微调。

    Apr, 2021

  • RoBERTweet：适用于罗马尼亚推文的 BERT 语言模型

    本文介绍了 RoBERTweet，这是首个使用罗马尼亚推文进行训练的 Transformer 架构，研究结果表明在推特情感检测、性别歧视语言识别和命名实体识别三个自然语言处理任务中，RoBERTweet 模型优于之前的普通领域罗马尼亚语和多语言语言模型。

    Jun, 2023

  • ViSoBERT：用于越南社交媒体文本处理的预训练语言模型

    本文介绍了首个用于越南社交媒体文本的单语言预训练语言模型 ViSoBERT，该模型使用 XLM-R 架构，在大规模高质量多样化的越南社交媒体文本语料库上进行预训练，并在越南社交媒体文本的情绪识别、仇恨言论检测、情感分析、垃圾评论检测和仇恨言论跨度检测等五个重要的自然语言下游任务中超越了之前最先进的模型。

    Oct, 2023

  • 使用 XLM-T、Google Translate 和集成学习的多语言推文亲密度检测在 SemEval-2023 任务 9 中的应用

    本文基于 XLM-T 提出了一种基于 transformer 的系统，用于预测多语言推特的亲密度，使用英语翻译数据可用于优化训练和推理，取得了 0.599 的总体 Pearson's r 值和排名第四的成绩。

    Apr, 2023

  • SemEval-2017 任务 4: 使用 BERT 进行 Twitter 情感分析

    使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT BASE 模型，该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型，在二分类子任务中表现更好，我们还在实验过程中考虑了所有种类的伦理问题，因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。

    Jan, 2024

  • SemEval 2023 任务 9：多语言推文亲密度分析

    提出了一个名为 MINT 的针对 13,372 条推文的多语言亲密性分析数据集，并在英语、法语、西班牙语、意大利语、葡萄牙语、韩语、荷兰语、中文、印地语和阿拉伯语等 10 种语言上进行了基准测试，并发布了该数据集。同时，与此数据集相关的语义分析比赛任务为 SemEval 2023 Task 9: Multilingual Tweet Intimacy Analysis。

    Oct, 2022