Oct, 2023

OffMix-3L: 孟加拉文 - 英文 - 印地文混合语言中用于冒犯性语言识别的新数据集

PDF
TL;DR本文介绍了 OffMix-3L，这是一个包含来自三种不同语言的混合代码数据的新颖的冒犯性语言识别数据集。我们在这个数据集上尝试了几种模型，并观察到 BanglishBERT 在其他基于 Transformer 的模型和 GPT-3.5 之上表现出色。
发现论文，激发创造
  • SentMix-3L: 面向情感分析的孟加拉 - 英语 - 印地语混合代码数据集

    本论文介绍了 SentMix-3L，一个包含三种语言（孟加拉语、英语和印地语）的代码混合情感分析数据集，并通过对 SentMix-3L 的全面评估表明，采用 GPT-3.5 的零次提示能够在 SentMix-3L 上胜过所有基于变压器的模型。

    Oct, 2023

  • EmoMix-3L: 孟加拉 - 英 - 印度语情感检测的代码混合数据集

    本文介绍了 EmoMix-3L，这是一个包含来自三种不同语言的代码混合数据的新颖多标签情感检测数据集。我们在 EmoMix-3L 上尝试了几种模型，并报告称 MuRIL 在该数据集上的表现优于其他模型。

    May, 2024

  • 识别转写和混合编码的孟加拉语冒犯性语言

    在这篇研究中，我们探讨了社交媒体上的冒犯性内容识别问题，特别关注多语社会中常见的音译和混合语言现象对自然语言处理系统的挑战。我们引入了一份包含 5000 条手动注释评论的音译孟加拉冒犯性语言数据集（TB-OLID），并在该数据集上对机器学习模型进行训练、微调和评估。结果显示，fBERT 和 HateBERT 等基于英语预训练的 Transformer 模型在该数据集上表现最佳。

    Nov, 2023

  • 混合 Distil-BERT：用于孟加拉语、英语和印地语的混合语言建模

    该论文介绍了 Tri-Distil-BERT，一个用孟加拉语、英语和印地语进行预训练的多语言模型，以及在混合代码数据上微调的 Mixed-Distil-BERT 模型。这两个模型在多个 NLP 任务上进行评估，并展示出与更大的模型（如 mBERT 和 XLM-R）相竞争的性能。我们的两层预训练方法为多语言和混合代码语言理解提供了高效的选择，推动了该领域的进步。

    Sep, 2023

  • 使用 Transformers 从多语代码混合文本中检测攻击性言论

    本论文提出了一种多语言自动化系统，使用机器学习和转换器来从混合语言的数据中识别带有冒犯性的文本，并在 Tamil、Malayalam 和 Kannada 三种语言的数据集上进行了测试。结果表明，该系统在不同语言上表现出不同的最佳表现方法，得分最高的是 m-BERT（Kannada）和 XLM-R（Tamil 和 Malayalam），系统性能达到了一定的水平。

    Feb, 2021

  • L3Cube-HingCorpus 和 HingBERT：一种混合编码印地语 - 英语数据集和 BERT 语言模型

    该研究提供了一个用于在社交媒体平台上进行 Hindi-English 混合语言的研究数据和预训练模型，并证明这些模型在情感分析、词性标注、命名实体识别等任务中的有效性。

    Apr, 2022

  • 利用语言识别提升混合编码文本分类

    本研究旨在通过实验语言增强方法来提高基于 BERT 的模型在低资源 Code-Mixed Hindi-English 数据集上的性能，并测试了不同的指标，如准确性、精确度、召回率和 F1 分数，以证明语言增强的重要性，以应用于文本情感分析、仇恨言论检测和情感检测等任务

    Jun, 2023

  • 代码混合情感和仇恨言论预测

    研究发现，针对社交媒体文本中的混合编码文本进行专门设计的双语模型和多语模型表现最佳，而庞大生成模型则不具有竞争力。对于情感分析和辱骂语言检测等任务，这些模型在混合编码数据上的表现稍微优于非混合编码数据。

    May, 2024

  • 我的 Boli：混合马拉地语 - 英语语料库，预训练语言模型和评估基准

    本文介绍了一个新的程序混合（Code-mixed）语料库及预训练模型，为印度语言 Marathi 的程序混合研究奠定了基础，并提供了三个数据集用于下游任务。

    Jun, 2023

  • 混合代碼響應的強響應代碼混合翻譯的生成和聯合學習

    本文研究了混合编码（Hinglish 和 Bengalish）到英语的机器翻译问题，通过合成 Hinglish 到英语的平行语料库以及提出的鲁棒扰动联合训练模型（RCMT），并展示了 RCMT 在 Bengalish 到英语翻译上的零样例适应能力，通过定性和定量分析证明了 RCMT 在混合编码和鲁棒翻译方法上的优越性。

    Mar, 2024