Feb, 2024

塞尔维亚语的新语言模型

PDF
TL;DR本文简要介绍了用于塞尔维亚语的基于 Transformer 的语言模型的发展历史，同时还提出了几个使用塞尔维亚语资源进行训练的文本生成和矢量化模型。在四个自然语言处理任务上比较了十个选择的塞尔维亚语矢量化模型，包括两个新的模型。本文分析了在每个选定任务上哪些模型是最好的，它们的大小和训练集大小如何影响这些任务的性能，并确定了为塞尔维亚语训练最佳语言模型的最优设置。
transformer-based language modelsserbian languagetext generationvectorizationnatural language processing
发现论文，激发创造
  • 塞尔维亚语言建模的新文本语料库

    该文章介绍了用于大型语言模型训练的塞尔维亚语（和塞尔维亚 - 克罗地亚语）的文本语料库，并公开存储在多个知名在线资源库之一。对每个语料库使用多种方法进行分类，并详细说明其特点。此外，文章还介绍了三个新的语料库：一个新的塞尔维亚 - 克罗地亚语综合网络语料库，一个基于塞尔维亚所有大学国家博士论文库中的博士学位论文的高质量语料库，以及同一来源的摘要翻译平行语料库。将通过基于频率的文体测量方法评估新旧语料库的独特性，并对结果进行简要讨论。

    May, 2024

  • BERTić -- 用于波斯尼亚语、克罗地亚语、黑山语和塞尔维亚语的 Transformer 语言模型

    本文描述了一个在克罗地亚语、波斯尼亚语、塞尔维亚语和黑山语网络域爬取的 80 亿个令牌的 transformer 模型的预训练，并在词性标注、命名实体识别、地理位置预测和常识因果推理等任务上展示所有任务上的改进。此外，我们引入了 COPA-HR 项目，将可选可行替代品（COPA）数据集翻译成克罗地亚语以进行常识推理评估，并通过 HuggingFace 免费提供 BERTi'c 模型以及进一步的针对特定任务的微调。

    Apr, 2021

  • 塞尔维亚语自然语言处理的资源和方法调查

    本文评述十二百万使用者的塞尔维亚语在自然语言处理中遇到的低语言资源和多屈折形式的困难，以及过去三十年来发展的从语料库到不同任务的标注，各种方法和模型。

    Apr, 2023

  • 多语言变压器和 BERTopic 用于短文本主题建模：塞尔维亚案例

    该论文采用 BERTopic 主题建模技术对塞尔维亚语的短文本进行了首次应用，结果表明在部分预处理的情况下，BERTopic 可以提供信息丰富的主题。与 LDA 和 NMF 相比，BERTopic 提供了更多有信息量的主题，并在主题数不受限制时提供新的见解。这些研究结果对于处理其他形态丰富的低资源语言和短文本的研究者具有重要意义。

    Feb, 2024

  • 独揽大权的模型：斯洛文尼亚摘要生成器排名

    给出一种利用全连接神经网络模型为不同文本推荐最适合的自动摘要模型的方法，针对斯洛文尼亚语开发了四种不同特点的自动摘要模型并使用 Doc2Vec 文档表示分析输入内容来进行选择，经过自动化和手动化测试，结论表明该方法能够成功地自动选择最佳的模型。

    Jun, 2023

  • 跨语言情感分析的多任务学习

    本研究使用零样本和小样本学习进行跨语言情感分析。采用三种语言的 BERT-based 模型进行语种间的情感分类，提出了一种简单多任务模型。通过单任务和多任务实验的零样本和小样本场景对克罗地亚言和斯洛文尼亚情感分析进行评估。

    Dec, 2022

  • SlovakBERT：斯洛伐克遮罩语言模型

    介绍了一种名为 SlovakBERT 的新型斯洛伐克遮蔽语言模型，是第一篇讨论基于 transformers 的斯洛伐克语言模型的论文。评估发现该模型在多项自然语言处理任务中取得了最优结果，并建立了斯洛伐克语言模型的基准。发布了遮蔽语言模型以及针对词性标注、情感分析和语义文本相似性的微调模型。

    Sep, 2021

  • 规模化波兰变压器语言模型预训练

    本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

    Jun, 2020

  • 基于 Transformer 的语音识别模型的迁移学习：由捷克语到斯洛伐克语

    本文探讨了利用 Transfer Learning 方法，从 Czech pre-trained Wav2Vec 2.0 Model 中导入语音识别模型到斯洛伐克，并在三个 Slovak 数据集上进行了测试，结果表明在预训练阶段初始化权重后，我们的斯洛伐克模型取得了最佳结果，并且优于更大的公共多语种模型。

    Jun, 2023

  • 用于资源较少的斯洛文尼亚语的序列到序列预训练

    该研究针对资源较少的斯洛文尼亚语，训练了两个不同尺寸的 T5 类型序列到序列模型，并分析其在 11 个任务中的表现，结果显示 SloT5 模型在分类任务上大多落后于单语斯洛文尼亚 SloBERTa 模型，但在生成性任务上很有用。

    Jul, 2022