Apr, 2024

土耳其语语言模型的性能比较

PDF
TL;DR本研究目的是填补文献中关于土耳其语的各种开源语言模型的性能比较的空白，通过比较七个选择的语言模型在上下文学习和问答能力方面的表现，发现继续在 fine-tuning 之前进行预训练的指导数据集可以更好地适应土耳其语的多语种模型，并且上下文学习的表现与问答的表现关系不大。
发现论文，激发创造
  • 使用土耳其数据集训练和微调大型语言模型

    本文旨在解决土耳其语自然语言处理方面的挑战，探讨通过构建大规模土耳其语语料库和训练大型语言模型（LLM），在细调已经训练好的模型的基础上，实现特定任务的自定义大型语言模型。

    Jun, 2023

  • 研究土耳其语言模型中的性别偏见

    该研究探讨土耳其语言模型中的性别偏见及民族偏见，并基于实验证据分析模型特性对偏见的影响，同时公开土耳其性别偏见数据集。

    Apr, 2024

  • 穿越博斯普鲁斯海峡：通过低资源语言适应和基准测试推进土耳其大型语言模型

    通过研究低资源语言，对训练策略、模型选择、数据可用性和知识传递等问题进行深入分析，以进一步推进低资源语境下大型语言模型 (LLMs) 的发展，使自然语言处理 (NLP) 的益处更广泛可及。

    May, 2024

  • 引入 cosmosGPT：针对土耳其语言模型的单语言训练

    通过用纯土耳其语语料库训练建立的 cosmosGPT 模型和适应土耳其语的语言模型的全面比较，研究结果显示，尽管相较于其他模型，我们用单语料库建立的语言模型规模较小约 10 倍，但其表现仍然有可观的性能。

    Apr, 2024

  • Mukayese：土耳其自然语言处理反击

    本文主要介绍了一个名为 Mukayese 的 NLP 基准集，它为土耳其语提供了语言建模、句子段落化和拼写检查等多项基准测试，并且为每个基准测试提供多个数据集和基准值。

    Mar, 2022

  • 利用大型语言模型自动化生成土耳其教育测验

    这项研究通过使用大型语言模型自动生成土耳其教育内容的问答题，介绍了一种从教育内容中生成测验的新方法，为土耳其教育环境量身定制的教育技术开创了先河。同时，通过将这些语言模型应用于土耳其教育材料中，为自动化土耳其测验生成开辟了新的途径。

    Jun, 2024

  • 基于 Transformer 的细调编码器在土耳其语言理解任务中的应用

    我们在这项研究中，为土耳其语提供了基于 Transformer 模型的 BERTurk 模型，并进行了多个下游任务的微调和评估，包括命名实体识别、情感分析、问题回答和文本分类。与其他基线方法相比，我们的研究在土耳其语中显著提高了性能，并公开发布了这四个微调模型和资源，以支持其他土耳其研究人员和应用。

    Jan, 2024

  • 土耳其自然语言推理的数据和表示

    本研究旨在利用商业机器翻译系统自动翻译英语数据集以进行 Turkish NLI 模型的训练，发现语言内嵌入是必要的，并且在训练集较大时可以避免形态分析。最终，我们发现这些模型在人工翻译的评估集上表现良好，并将所有的代码、模型和数据公开分享。

    Apr, 2020

  • 预训练模型在土耳其语语音转文本中的性能比较：Whisper-Small 和 Wav2Vec2-XLS-R-300M

    本研究使用土耳其语准备的 Mozilla Common Voice 11.0 开源数据集，对两个预训练的多语言语音到文本模型 Whisper-Small 和 Wav2Vec2-XLS-R-300M 进行性能测试和比较，WER 值分别为 0.28 和 0.16。此外，还使用呼叫中心记录准备了测试数据集以检验模型的性能。

    Jul, 2023

  • 低资源语言程序语言理解的基准测试：土耳其语案例研究

    通过使用自动翻译工具从 2,000 篇文章扩充到 52,000 篇，我们针对土耳其编程指南进行了个案研究，生成了包含链接动作、目标推断和总结等多个任务的关于土耳其编程指南的语料库，并实施了强大的基准模型，发现针对步骤指令文本的语言专用模型在大多数任务上始终优于多语言模型。

    Sep, 2023