Sep, 2023

低资源语言程序语言理解的基准测试：土耳其语案例研究

PDF
TL;DR通过使用自动翻译工具从 2,000 篇文章扩充到 52,000 篇，我们针对土耳其编程指南进行了个案研究，生成了包含链接动作、目标推断和总结等多个任务的关于土耳其编程指南的语料库，并实施了强大的基准模型，发现针对步骤指令文本的语言专用模型在大多数任务上始终优于多语言模型。
procedural natural language understandingturkish procedural textstranslation toolsdownstream taskslanguage-specific models
发现论文，激发创造
  • 穿越博斯普鲁斯海峡：通过低资源语言适应和基准测试推进土耳其大型语言模型

    通过研究低资源语言，对训练策略、模型选择、数据可用性和知识传递等问题进行深入分析，以进一步推进低资源语境下大型语言模型 (LLMs) 的发展，使自然语言处理 (NLP) 的益处更广泛可及。

    May, 2024

  • 大型语言模型下的程序化文本挖掘

    利用大规模语言模型和上下文学习，本研究探讨了从非结构化 PDF 文本中提取程序的问题，结果显示该方法有潜力显著解决深度学习自然语言处理技术中所遇到的数据训练不足的挑战。

    Oct, 2023

  • Mukayese：土耳其自然语言处理反击

    本文主要介绍了一个名为 Mukayese 的 NLP 基准集，它为土耳其语提供了语言建模、句子段落化和拼写检查等多项基准测试，并且为每个基准测试提供多个数据集和基准值。

    Mar, 2022

  • 突厥语言机器翻译的大规模研究

    本文是大规模实际应用机器翻译于突厥语系的案例研究，在高、低资源场景下使用平行语料库、双语基准和人工评估结果来识别瓶颈，并提供这些数据与模型的公开开放。

    Sep, 2021

  • 图灵测试：语言模型是否理解指令？

    本文介绍 Turking Test 模型，旨在检验模型理解不同复杂度任务的自然语言指令的能力。通过对模型错误模式的分析，作者发现大型预训练语言模型的性能表现较差，但指令理解本身具有广泛应用前景。

    Oct, 2020

  • 多阶段训练的知识感知程序文本理解

    研究了手续性文本理解的挑战，发现外部知识注入和数据不足的问题，提出了一个多阶段训练的知识感知 KOALA 模型，最终在 ProPara 和 Recipes 数据集上达到了最先进的性能表现。

    Sep, 2020

  • 土耳其自然语言推理的数据和表示

    本研究旨在利用商业机器翻译系统自动翻译英语数据集以进行 Turkish NLI 模型的训练，发现语言内嵌入是必要的，并且在训练集较大时可以避免形态分析。最终，我们发现这些模型在人工翻译的评估集上表现良好，并将所有的代码、模型和数据公开分享。

    Apr, 2020

  • 利用大型语言模型自动化生成土耳其教育测验

    这项研究通过使用大型语言模型自动生成土耳其教育内容的问答题，介绍了一种从教育内容中生成测验的新方法，为土耳其教育环境量身定制的教育技术开创了先河。同时，通过将这些语言模型应用于土耳其教育材料中，为自动化土耳其测验生成开辟了新的途径。

    Jun, 2024

  • 土耳其语语言模型的性能比较

    本研究目的是填补文献中关于土耳其语的各种开源语言模型的性能比较的空白，通过比较七个选择的语言模型在上下文学习和问答能力方面的表现，发现继续在 fine-tuning 之前进行预训练的指导数据集可以更好地适应土耳其语的多语种模型，并且上下文学习的表现与问答的表现关系不大。

    Apr, 2024

  • 跨语言学习与低资源微调的案例研究：以土耳其事实核查为例

    通过引入 FCTR 数据集，本研究通过跨语言转移学习评估大语言模型在土耳其语上的上下文学习（零样本和少样本）表现，结果表明该数据集有可能推动土耳其语研究的进展。

    Mar, 2024