ACLMar, 2021

比较达罗毗荼语言识别方法

PDF
TL;DR本文介绍了团队 HWR 在 VarDial 2021 举办的 Dravidian Language Identification (DLI) 共享任务期间提交的内容，包括使用自适应语言模型的朴素贝叶斯分类器和基于 Transformer 的模型进行的实验，以及在语言识别相关任务中深度学习方法的表现不如其他文本分类任务这一研究发现。
dravidian language identificationvardial 2021naive bayes classifiertransformer-based modellanguage identification
发现论文，激发创造
  • PICT@DravidianLangTech-ACL2022：德拉维达语言的神经机器翻译

    本文介绍了关于南印度德拉维达语系机器翻译的研究成果，通过针对五种不同德拉维达语系的机器翻译和使用 Seq2Seq 模型进行训练，我们在其中三项子任务中名列第一，并以 BLEU 分数作为评估指标测试了模型的准确性。

    Apr, 2022

  • CoLI-Machine Learning 在卡纳达语 - 英语文本的词级别混合语言识别中的应用

    该研究针对代码混合文本的词级别语言识别问题，构建了 CoLI-Kenglish 数据集，利用机器学习、深度学习和迁移学习方法建立和评估了 CoLI-vectors、CoLI-BiLSTM 和 CoLI-ULMFiT 学习模型，研究结果表明 CoLI-ngrams 模型在所有模型中取得了最好的效果。

    Nov, 2022

  • 基于 Transformer 的攻击性语言检测的集成策略

    本研究基于 EACL 2021 的一个共享任务，针对低资源语言如泰米尔语的情况，提出了一种差异化的多元化变压器模型探索以及多个模型集成技术，并通过 Tamil，Kannada 和 Malayalam 三种语言的争夺任务，获得了第一或第二的优异成绩。

    Feb, 2021

  • IIITDWD-ShankarB@ Dravidian-CodeMixi-HASOC2021: 基于 mBERT 的南印度语言冒犯内容识别模型

    本研究采用多语言 BERT 提取特征，并在其上使用三个不同的分类器以识别社交媒体上的辱骂内容，最终在 Malayalam 数据上获得 0.70 的加权 F1 分数并排名第五，在 Tamil 数据上获得 0.573 的加权 F1 分数并排名第十一。

    Apr, 2022

  • Transformer 基于的代码混合卡纳达语 - 英语文本字级语言识别模型

    本文介绍了 CIC 团队使用 Transformer 模型对 CoLI-Kenglish 数据集进行词级别语言鉴别的系统描述，其中提出了在 NLP 中使用 code-mixed 数据的研究，并探讨了社交媒体的影响。该模型在数据集中取得了 0.84 的加权 F1 分数和 0.61 的宏 F1 分数。

    Nov, 2022

  • IIITG-ADBU@HASOC-Dravidian-CodeMix-FIRE2020: 混合码语德拉维达语文本中的攻击性内容检测

    本文基于 SVM 分类器和 XLM-RoBERTa 分类器，在 Dravidian-CodeMix-HASOC 2020 的比赛数据集中，对代码混编的马拉雅拉姆语和泰米尔语文本进行分类，并取得了较好的效果。

    Jul, 2021

  • 使用 Transformers 从多语代码混合文本中检测攻击性言论

    本论文提出了一种多语言自动化系统，使用机器学习和转换器来从混合语言的数据中识别带有冒犯性的文本，并在 Tamil、Malayalam 和 Kannada 三种语言的数据集上进行了测试。结果表明，该系统在不同语言上表现出不同的最佳表现方法，得分最高的是 m-BERT（Kannada）和 XLM-R（Tamil 和 Malayalam），系统性能达到了一定的水平。

    Feb, 2021

  • 基于数据及知识驱动的多语言训练方法，提升印度语言语音识别系统的性能

    使用数据和知识驱动的方法结合多语言语音数据来进行自动语音识别系统的多语言训练，并在低资源和中资源运用 DNN 的分层映射技术和多任务 DNN 模型，分别在印度语种中取得 9.66％ ~ 27.24％不等的相对准确率提升。

    Jan, 2022

  • 适应语言模型的文本语言和方言识别

    本文介绍了一种无监督的语言模型适应方法，可以用来增强语言识别方法的性能。该方法应用于现有版本的 HeLI 语言识别方法，并在德语方言识别和 Indo-Aryan 语言识别共享任务中得到了高于先前 HeLI 方法和其他参与共享任务的系统的 F1 分数的结果。结果表明，应该在所有语言识别任务中考虑无监督的语言模型适应方法，特别是在可能遇到领域外数据的情况下。

    Mar, 2019

  • 多语言方言检测的两阶段管道

    在 VarDial 2023 共享任务中，我们提出了一种基于两阶段系统的方法，能够对两种或三种语言的方言进行分类， Track-1 获得了 58.54% 的得分和 Track-2 获得了 85.61% 的得分，优于该领域其他参与者的系统和以往研究成果。

    Mar, 2023