indic languages | BriefGPT - AI 论文速递

关键词indic languages

搜索结果 - 39

PARIKSHA：多语言和跨文化数据上人类 LLM 评估者一致性的大规模调查
本研究评估了多语种大型语言模型的性能，发现 GPT-4o 和 Llama-3 70B 模型在大多数 Indic 语言中表现最佳。我们构建了两个评估设置的排行榜，并分析了人类评估和语言模型评估之间的一致性，发现在两两比较的设置下，人类和语言模
PDF13 days ago
揭示多样性：对印度 AI 研究领域的综述
该综述论文提供了印度语系大型语言模型（LLM）研究方向的全面概述，包括 LLM 的发展、现有 LLM 的微调、语料库的开发、基准测试和评估以及围绕特定技术、工具和应用的出版物。该论文指出了印度语系的挑战，如数据有限、缺乏标准化和语言复杂性，
PDF21 days ago
Suvach -- 生成的印地语 QA 基准
为了在印度语中评估问答（QA）的当前评估基准，常常依赖于现有英语数据集的机器翻译。这种方法存在机器翻译中固有的偏见和不准确性，导致可能不能反映印度语 EQA 模型真实能力的数据集。本文提出了一个专门设计用于评估印度语 EQA 模型的新基准，
PDF2 months ago
IndicGenBench：用于评估 LLMs 在印度语言上的生成能力的多语言基准测试
印度是一个拥有 14 亿人口的语言多样性国家，为了促进多语言大型语言模型的研究和评估，我们发布了 IndicGenBench，这是一个覆盖 13 种脚本、4 种语系以及 29 种印度语言的最大基准。我们对包括 GPT-3.5、GPT-4、P
PDF2 months ago
打破沉默：检测和减少印度在线空间中的性别虐待（印地语、泰米尔语和印度英语）
在线性别基础骚扰是限制女性和边缘性别在数字空间中自由表达和参与的普遍问题。检测此类滥用内容可以使平台遏制这一威胁。我们参加了 ICON2023 举办的 Indic 语言中的性别虐待检测任务，该任务为构建分类器以识别带有性别偏见的滥用提供了英
PDF3 months ago
建立预训练语言模型的方法：无数据？别担心，采用翻译语言
通过使用机器翻译创建合成数据（Translationese）预训练语言模型（LMs），本研究探讨了将 Translationese 作为一种用于预训练语言模型的可用性。我们以英语和印度语为例，将网络抓取的单语文档翻译成目标语言，然后在这些合
PDF3 months ago
IndicLLMSuite：针对印度语言创建预训练和微调数据集的蓝图
通过引入针对 Indic LLMs 开发的广泛资源套件，包括 22 种语言，总共有 251 亿词汇和 7480 万指令 - 响应对，我们的工作旨在弥合其他语言的类似模型建设进展受限于资源稀缺的差距。我们的方法结合了高度策划的手动验证数据、有
PDF4 months ago
Paramanu: 一系列新型高效的印度生成基础语言模型
Gyan AI Paramanu 是一家面向印度语言的全新语言模型系列，由 10 种印度语言（包括 Assamese、Bangla、Hindi、Konkani、Maithili、Marathi、Odia、Sanskrit、Tamil 和 T
PDF5 months ago
2023 年 ICON 共享任务概述：印度语中性别虐待检测
在 ICON 2023 上报告了有关 Indic 语言中的性别虐待检测的研究结果，该共享任务涉及在在线文本中检测性别虐待，使用了新的数据集：印地语、泰米尔语和印度英语方言。
PDF6 months ago
利用领域知识指令集构建针对奥利亚语的经过 Llama2 微调的 LLM
本文介绍了我们生成大量 Odia 指令集以及领域知识数据，并构建针对 Odia 领域性能优化的 Llama2 微调模型的方法，这将帮助研究人员构建指令集和 LLM，特别是针对 Indic 语言。我们将为公众提供该模型和指令集，供研究和非商业
PDF6 months ago
IndicTrans2：适用于所有 22 个印度预定语言的高质量可访问机器翻译模型
该研究旨在通过整合并创建特定于印度的并行语料库和基准测试数据，训练出支持所有 22 种印度语言的机器翻译模型，为印度的语言多样性提供广泛且易于访问的机器翻译系统，该研究创造性地提出了四个关键领域的改进，并发布了 BPCC 和 IndicTr
PDFa year ago
Unicode 文本的 Abugida 标准化器和解析器
本文提出两个库来解决印度语言基于 Unicode 编码的常见和不常见问题，第一个是用于纠正编码方案导致的不一致性的标准化器，第二个是用于 Abugida 文本的字形解析器，两个工具比先前使用的工具更有效，我们报告速度增加了 400％，并确保
PDFa year ago
ACLVārta：Indic 语系大规模标题生成数据集
Varta 是一个大规模的多语言数据集，用于生成印度语言的标题。该数据集包含 14 种不同的印度语言（以及英语）的 4180 万篇新闻文章，是目前可用的经过精心筛选的印度语言文章的最大集合。该数据集可以用于预训练强大的语言模型，其表现优于竞
PDFa year ago
L3Cube-IndicSBERT：使用多语言 BERT 学习跨语言句子表示的简单方法
该论文提出了一种用于转换 vanilla multilingual BERT 模型成多语言句子 BERT 模型的简单有效方法，该方法使用合成语料库聚合并细调 vanilla multilingual BERT 模型的翻译 NLI 或 STS
PDFa year ago
IndicXTREME：用于评估印度语言的多任务基准
本文介绍了 IndicXTREME，一个由 9 个不同任务组成的基准测试，包括来自印度次大陆、属于 4 个不同语系的 18 种语言。我们更新和扩展了 IndicCorp，提供了 IndicBERT v2，并证明了它优于现有的多语言语言模型，
PDF2 years ago
L3Cube-HindBERT 和 DevBERT：针对基于天城文的印地语和马拉提语的预训练 BERT Transformer 模型
通过 Hindi BERT 和 Devanagari BERT 模型，我们实现了 Hindi 和 Marathi 文本分类和实体识别任务的重大改进，并在其基础上为其他 Indic 语言发布了单语 BERT 模型。
PDF2 years ago
在印地语和泰米尔语中针对问题的抽取式问答
本篇研究旨在建立自然语言处理模型，通过针对印度语的公共数据集进行微调以及训练，使得机器的提取问答任务的表现比已有模型更为优秀。基于 RoBERTa 模型构建的两种模型表现最好，证实了对于特定语言任务而言，训练数据的特异性对模型的表现影响更大
PDF2 years ago
IndicSUPERB：印度语言语音处理通用性能基准
该篇论文主要介绍了自然语言理解和语音语言理解中使用的 GLUE 数据集和 SUPERB 基准集，同时提供了 IndicSUPERB 基准集，为印度语音语言理解模型的开发做出贡献。该论文探讨了使用自我监督模型在各种印度语言中进行的训练和评估，
PDF2 years ago
MATra：一种印度文字跨语言注意力音译系统
本文展示了一种基于 transformer 网络结构并在其基础上做出改进的多语言模型，可用于跨越英语、印地语、孟加拉语、卡纳达语和泰米尔语的任意一对语言之间进行 Transliteration，同时在精度方面显著优于所有现有模型，在 Top
PDF2 years ago
Silo NLP 参加 WAT2022
本文介绍了 “Silo NLP” 的多模式翻译系统在 2022 年亚洲翻译研讨会上的参赛情况，利用 Transformers 和 mBART-50 模型作为基础，提取图像中的对象标签作为视觉特征，用于英语到印度语的多模式，以及英语到马拉雅拉
PDF2 years ago