ACLMay, 2023

AxomiyaBERTa：一个针对阿萨姆语的音韵感知变换器模型

PDF
TL;DR本文提出了一种针对印度东部的形态丰富的低资源语言 (Assamese) 的 BERT 模型，名为 AxomiyaBERTa，该模型只在掩码语言模型 (MLM) 任务上进行训练，不包含典型的下一句预测 (NSP) 目标，结果显示在类似 Assamese 这样的低资源语言的资源稀缺环境中，仅使用 MLM 就可以成功地利用一系列任务，同时 AxomiyaBERTa 在诸如命名实体识别等基于 token 的任务上实现了 SOTA，在 Cloze-style QA 和 Wiki Title Prediction 等基于更长上下文的任务上也表现良好，其背后包含一个新型的嵌入扩散器和音韵信号。此外，本文还表明 AxomiyaBERTa 可以利用音韵信号处理更具挑战性的任务，例如在 ECB+ 语料库的翻译版本中进行新的交叉文件共指任务，我们在 LRL 上呈现了新的 SOTA 结果。
transformer-based language modelsaxomiyabertaassameselow-resource languagephonological signals
发现论文，激发创造
  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • KinyaBERT：一个考虑形态的基尼亚隆达语言模型

    提出了一种两层 BERT 架构，利用形态分析器和显式表示形态构成，解决了 BERT 模型在处理形态丰富的语言时效率低下的问题，并将所提出的模型在低资源形态丰富的 Kinyarwanda 语言上进行了评估。结果表明，所提出的模型 KinyaBERT 在命名实体识别任务和机器翻译评估指标上均优于其他基线模型。

    Mar, 2022

  • 揭示大型语言模型在 Transformer 模型之上对孟加拉语自然语言推理的优势：一项全面研究

    通过综合评估，本研究在低资源语言（如孟加拉语）的自然语言推理任务中评估了知名大型语言模型和最先进模型的性能，发现虽然大型语言模型在少样本情况下可以达到与微调后最先进模型相媲美或优越的性能，但需要进一步研究来提高我们对大型语言模型在类似孟加拉语等资源有限的语言中的理解。该研究强调了在不同语言环境中探索大型语言模型能力的持续努力的重要性。

    May, 2024

  • BanglaNLP 参与 BLP-2023 任务 2：对孟加拉社交媒体帖子的情感分析进行不同 Transformer 模型的基准测试

    这篇论文使用基于 Transformer 的架构进行情感分析，以解决 Bangla 这种低资源语言的问题，并通过细调模型在推特数据上获得最佳性能。同时，还进行了详细的错误分析。

    Oct, 2023

  • 利用大型语言模型对变压器模型进行优化以检测孟加拉抑郁社交媒体文本：一项综合研究

    我们的研究关注心理健康和社交媒体之间的重要联系，特别是在外向的社交媒体用户中早期检测到抑郁症。通过使用 GPT 3.5、GPT 4 和我们提出的 GPT 3.5 微调模型 DepGPT，以及先进的深度学习模型（LSTM、Bi-LSTM、GRU、BiGRU）和 Transformer 模型（BERT、BanglaBERT、SahajBERT、BanglaBERT-Base），我们对 Reddit 和 X 数据集进行分类，并由精通心理健康的母语使用者将其翻译成孟加拉文，从而创建了孟加拉社交媒体抑郁数据集（BSMDD）。我们的工作提供了每个模型的完整架构细节，并提供了一种系统评估其在孟加拉抑郁文本分类中的性能的方法，使用零样本学习和少样本学习技术。我们的工作证明了 SahajBERT 和具有 FastText 嵌入的 Bi-LSTM 在各自领域的优越性，并解决了 Transformer 模型的可解释性问题，强调了 LLM 的有效性，特别是 DepGPT，在各种学习环境中的灵活性和能力。根据实验结果，所提出的 DepGPT 模型不仅在零样本学习和少样本学习场景中胜过了 Alpaca Lora 7B，而且在准确度和 F1 分数方面也优于其他模型，达到了近乎完美的准确度为 0.9796 和 F1 分数为 0.9804，拥有高召回率和卓越精确度。尽管竞争激烈，GPT-3.5 Turbo 和 Alpaca Lora 7B 在零样本学习和少样本学习情况下相对效果较差。这项工作强调了 LLM 在各种语言环境中的有效性和灵活性，为抑郁症检测模型的复杂领域提供了深入的信息。

    Jan, 2024

  • 基于创新的 Bert 重新排序语言模型在语音识别中的应用

    本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

    Apr, 2021

  • 基于深度学习方法的博多语词性标注器

    本研究涉及发展 Bodo 语言模型和基于深度学习的 Bodo 词性标注模型，探讨在低资源语言中开展语言处理系统的研究。

    Jan, 2024

  • 跨语言攻击性语言检测：来自社交媒体的孟加拉语、阿萨姆语和博多语对话仇恨内容的基于 BERT 的分析

    本文研究了在社交媒体领域中波斯尼亚语、塔吉克语、哈萨克语和蒙古语的仇恨言论检测的详细结果和关键发现。通过使用 BERT 模型，特别是 XML-Roberta-lagre，在大多数情况下，我们的成果表明其性能优于单语模型。我们的团队在任务 4 - 塔吉克语中获得第 3 名，在波斯尼亚语中获得第 5 名。

    Dec, 2023

  • 马拉地语中仇恨言论检测和文本分类的单语和多语 BERT 案例研究

    在本文中，我们使用 Marathi 语言的标准多语言模型和单语模型比较分析，通过五种不同的下游任务微调实验证明了单语 MahaBERT 模型的性能比多语言 BERT 变体更好。同时，我们还评估了来自这些模型的句子嵌入。

    Apr, 2022

  • 利用预训练语言模型进行低资源摘要

    利用自注意力变换器模型（mBERT, mT5）以及构建新的基准数据集（76.5k 的文章摘要对），在资源有限的语言乌尔都语中，提出了一个自适应低资源摘要方法，能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。

    Oct, 2023