Nov, 2022

CoLI-Machine Learning 在卡纳达语 - 英语文本的词级别混合语言识别中的应用

PDF
TL;DR该研究针对代码混合文本的词级别语言识别问题，构建了 CoLI-Kenglish 数据集，利用机器学习、深度学习和迁移学习方法建立和评估了 CoLI-vectors、CoLI-BiLSTM 和 CoLI-ULMFiT 学习模型，研究结果表明 CoLI-ngrams 模型在所有模型中取得了最好的效果。
language identificationcode-mixed textskannada-englishmachine learningdeep learning
发现论文，激发创造
  • Transformer 基于的代码混合卡纳达语 - 英语文本字级语言识别模型

    本文介绍了 CIC 团队使用 Transformer 模型对 CoLI-Kenglish 数据集进行词级别语言鉴别的系统描述，其中提出了在 NLP 中使用 code-mixed 数据的研究，并探讨了社交媒体的影响。该模型在数据集中取得了 0.84 的加权 F1 分数和 0.61 的宏 F1 分数。

    Nov, 2022

  • 利用语言识别提升混合编码文本分类

    本研究旨在通过实验语言增强方法来提高基于 BERT 的模型在低资源 Code-Mixed Hindi-English 数据集上的性能，并测试了不同的指标，如准确性、精确度、召回率和 F1 分数，以证明语言增强的重要性，以应用于文本情感分析、仇恨言论检测和情感检测等任务

    Jun, 2023

  • 基于字符和语音的 LSTM 模型的孟加拉 - 英文混合代码文本语言识别

    本文提出一种基于深度长短期记忆 (LSTM) 模型的有监督学习方法，针对社交媒体上的低资源孟加拉语 - 英语混合数据的单词级别语言识别问题，采用字符编码和词根编码两种方法训练模型，并使用堆叠和阈值技术创建两个集成模型，在测试数据上分别获得了 91.78% 和 92.35% 的准确率。

    Mar, 2018

  • 为情感分析准备孟加拉英语混合编码语料库

    本文提出了一种标注了语言和极性标签的孟加拉英语混合语料库，结合规则和监督模型，研发了自动感知分析的混合系统，以降低标注的人工工作量；同时，通过各种测量方法，对这种混合语料库的语言和情感特征进行了定量和定性的评估。

    Mar, 2018

  • 面向印地语 - 英语代码混合文本情感分析的子词级组合研究

    本文介绍了一种采用亚词级别表示 (Subword-LSTM) 架构进行 Hindi-English 混合代码情感分析的方法，该方法能更好地学习重要的语素的情感信息，同时在包含拼写错误的高噪声文本中表现良好，比传统的方法在数据集上的准确率提高了 4-5％，并且比可用的系统在 Hi-En 混合文本的情绪分析方面性能提高了 18％。

    Nov, 2016

  • 混合语言对话的自然语言推理新数据集

    本文提出了第一个用于混合语言自然语言推理的数据集，其中使用来自印地语电影和双语人士的双语代码混合作为前提和假设，并使用标准的 mBERT 算法对数据集进行了评估。

    Apr, 2020

  • 代码混合情感和仇恨言论预测

    研究发现，针对社交媒体文本中的混合编码文本进行专门设计的双语模型和多语模型表现最佳，而庞大生成模型则不具有竞争力。对于情感分析和辱骂语言检测等任务，这些模型在混合编码数据上的表现稍微优于非混合编码数据。

    May, 2024

  • 一种用于印地语 - 英语混合编码数据情感分析的集成模型

    本研究提出了基于字符三元组 LSTM 模型和基于词元素的多项式朴素贝叶斯 (MNB) 模型的集成模型，用于识别印地语 - 英语 (Hi-En) 混合数据的情感极性，实验结果表明，相较于几个基准和其他基于深度学习的提出的方法，我们的方法在真实用户混合数据上取得了最先进的结果。

    Jun, 2018

  • 混合马拉雅拉姆语 - 英语情感分析数据集

    本文提供了一个新的黄金标准情感分析语料库，用于马拉雅拉姆语 - 英语混合文本的情感分析基准，并使用有监督方法进行了分析。

    May, 2020

  • 比较达罗毗荼语言识别方法

    本文介绍了团队 HWR 在 VarDial 2021 举办的 Dravidian Language Identification (DLI) 共享任务期间提交的内容，包括使用自适应语言模型的朴素贝叶斯分类器和基于 Transformer 的模型进行的实验，以及在语言识别相关任务中深度学习方法的表现不如其他文本分类任务这一研究发现。

    Mar, 2021