我们为所有列在印度宪法中的 22 种印度语言创建了用于母语和罗马化文本的公开语言识别（LID）数据集和模型，并为类似的其他语言提供了解决罗马化文本 LID 中缺乏训练数据和低 LID 性能的简单有效的解决方案。

May, 2023

本文介绍了 Aksharantar，它是 21 种印度语言中最大的公开可用的音译数据集，包含 2600 万个音译对。我们使用从大型单语和平行语料库中挖掘音译对，并采集人工注释以确保具有不同单词和低资源语言的多样性。我们在 Aksharantar 训练集上训练了 IndicXlit 模型，它是一种单一的基于 transformer 的多语言音译模型，支持 21 种印度语言。它在 Dakshina 测试集上取得了最先进的结果，并在与此工作一起发布的 Aksharantar 测试集上建立了强大的基线。

May, 2022

本研究通过使用罗马化文本作为 LLMs 的界面来解决将大型语言模型扩展到非英语语言（尤其是使用非拉丁文字的语言）的挑战，并通过印地语到英语翻译和情感分析任务展示了罗马化文本的潜力，既提高了推理效率，又在有限的预训练情况下取得了竞争性的性能，同时将罗马化文本与原生文本结合的多脚本提示方法也显示出了提高任务性能的潜力。这些发现表明罗马化在弥合 LLM 应用中的语言障碍方面具有潜力，未来的工作将致力于将这种方法扩展到更多的语言和任务。

Jan, 2024

本文介绍了团队 HWR 在 VarDial 2021 举办的 Dravidian Language Identification (DLI) 共享任务期间提交的内容，包括使用自适应语言模型的朴素贝叶斯分类器和基于 Transformer 的模型进行的实验，以及在语言识别相关任务中深度学习方法的表现不如其他文本分类任务这一研究发现。

Mar, 2021

我们发布了一个数据集，包含超过 42,000 个英汉平行句子，旨在填补现有涵盖当代修辞体的数字梵语语料库的空白。此外，我们还发布了来自现代语料库和包含梵语的以前发布的古典时代机器翻译数据集的训练样本，以适应现有的多语言预训练模型。

May, 2023

在这项工作中，我们发布了一个后 OCR 文本校正数据集，其中包含来自 30 本不同书籍的约 218,000 个句子，共 1.5 百万个单词，涵盖了天文学、医学和数学等多个领域，其中一些可追溯到 18 个世纪。我们还发布了基于预训练 Seq2Seq 语言模型的多个强基线作为任务的基准。通过字节级标记和音素编码（Byt5+SLP1）的最佳模型，我们在单词和字符错误率方面取得了 23％的增加。

Nov, 2022

本文展示了一种基于 transformer 网络结构并在其基础上做出改进的多语言模型，可用于跨越英语、印地语、孟加拉语、卡纳达语和泰米尔语的任意一对语言之间进行 Transliteration，同时在精度方面显著优于所有现有模型，在 Top-1 精度得分方面高达 80.7％，比最好的结果提高了 29.5％，并在语音准确性方面达到了 93.5％。

Aug, 2022

ISLTranslate is introduced as the largest translation dataset for continuous Indian Sign Language, consisting of 31k ISL-English sentence/phrase pairs, which is benchmarked against a transformer-based model for ISL translation.

Jul, 2023

本文探讨了南亚语言技术中的数据散布问题，并提出研究语言历史对克服这一障碍的独特作用。作者阐述了南亚 NLP 和历史 - 比较语言学交叉领域的最新发展，并提出了打破数据壁垒的新策略。

Mar, 2022

该研究关注于为印地语和马拉地语开发一个问题回答数据集，通过将 SQuAD 2.0 数据集翻译成这两种语言，以解决数据稀缺的挑战，并发布了最大规模的问题回答数据集，同时提供了在这两种语言中表现最佳的模型，从而促进了进一步的研究。

Aug, 2023