Nov, 2023

TurkishBERTweet: 快速且可靠的社交媒体分析大型语言模型

PDF
TL;DRTurkishBERTweet 是第一个用于土耳其社交媒体的大规模预训练语言模型，使用近 9 亿条推文构建，其相对于 BERTurk 更轻量级且推理时间更短，在情感分类和仇恨言论检测等文本分类任务中表现优于其他可用的替代方法，并且与商业 OpenAI 解决方案相比具有可扩展性和成本效益。
turkishbertweetlanguage modelsocial mediainference timetext classification
发现论文，激发创造
  • BERTweet: 英文推文的预训练语言模型

    BERTweet 是第一个用于英语推文的公共大规模预训练语言模型，通过 RoBERTa 预训练程序进行训练并表现优于之前的最先进模型，可用于推文文本的各种任务。

    May, 2020

  • RoBERTweet：适用于罗马尼亚推文的 BERT 语言模型

    本文介绍了 RoBERTweet，这是首个使用罗马尼亚推文进行训练的 Transformer 架构，研究结果表明在推特情感检测、性别歧视语言识别和命名实体识别三个自然语言处理任务中，RoBERTweet 模型优于之前的普通领域罗马尼亚语和多语言语言模型。

    Jun, 2023

  • 开发和评估小到中型土耳其 BERT 模型

    该研究介绍和评估了微小、迷你、小型和中型的非套壳土耳其 BERT 模型，旨在填补资源匮乏语言领域的研究差距。我们使用多个来源的超过 75GB 文本构建了这些模型的训练集，并在多个任务中进行了测试，包括掩码预测、情感分析、新闻分类和零样本分类。尽管模型规模较小，但我们的模型在保证计算效率和更快执行时间的同时，表现出了强大的性能，包括零样本任务。我们的发现对于发展和应用较小语言模型，特别是在土耳其语境下，提供了有价值的见解。

    Jul, 2023

  • BERTuit：通过本地转换器理解 Twitter 上的西班牙语言

    BERTuit 是一个基于 RoBERTa 优化的大型转换器，其目的是为了更好地了解西班牙语 Twitter 并可用于解决该平台上的虚假信息传播问题。该模型在多项任务上进行了评估，并与其他最先进的多语言变压器进行了比较。

    Apr, 2022

  • 基于 Transformer 的细调编码器在土耳其语言理解任务中的应用

    我们在这项研究中，为土耳其语提供了基于 Transformer 模型的 BERTurk 模型，并进行了多个下游任务的微调和评估，包括命名实体识别、情感分析、问题回答和文本分类。与其他基线方法相比，我们的研究在土耳其语中显著提高了性能，并公开发布了这四个微调模型和资源，以支持其他土耳其研究人员和应用。

    Jan, 2024

  • 针对土耳其文本的目标情感分析数据集和基于 BERT 的模型

    本研究旨在利用目标情感分析从给定的文本中提取针对特定目标的情感，我们提供了适用于目标情感分析的标注土耳其数据集，并提出了基于 BERT 的模型，结果表明，与传统情感分析模型相比，所提出的模型具有更好的性能。

    May, 2022

  • TwHIN-BERT：用于多语种推文具有社交增强的预训练语言模型

    TwHIN-BERT 是一种多语言语言模型，使用来自 Twitter 的专业领域数据进行训练，并通过具有基于 Twitter 异构信息网络（TwHIN）中丰富的社交互动的社交目标的训练使其不同于以前的预训练语言模型。我们在各种多语言社交推荐和语义理解任务上评估了我们的模型，并展示了相对于已建立的预训练语言模型的重大指标改进。

    Sep, 2022

  • 使用土耳其数据集训练和微调大型语言模型

    本文旨在解决土耳其语自然语言处理方面的挑战，探讨通过构建大规模土耳其语语料库和训练大型语言模型（LLM），在细调已经训练好的模型的基础上，实现特定任务的自定义大型语言模型。

    Jun, 2023

  • 提高土耳其推文中命名实体识别的实验

    本文研究了基于社交媒体文本的命名实体识别，旨在提高土耳其推特上的识别效果，通过放宽语言规则和扩展词汇资源，以及使用简单的标准化方案，得到了实验结果和讨论。

    Oct, 2014

  • RoBERTurk：针对土耳其语进行 RoBERTa 的调整

    使用 BPE 分词工具，我们在土耳其语语料库上对 RoBERTa 进行预训练，模型在 BOUN 数据集上的词性标注任务中优于 BERTurk 系列模型，在 IMST 数据集上表现不佳，在土库曼语的 XTREME 数据集上的命名实体识别任务上获得竞争性的分数，且只使用了较小的预训练数据，我们公开了我们的预训练模型和分词工具。

    Jan, 2024