Oct, 2022

阿拉伯社交含义对比学习基准研究

PDF
TL;DR本篇论文对阿拉伯社交意义任务的最新监督对比学习方法进行了全面的基准研究。通过广泛的实证分析，我们展示了大多数任务中对比学习方法优于传统微调方法并且具有数据高效性。此外，本文还证明了对比学习在低资源环境下的潜力。
contrastive learningarabic nlpsocial meaning taskssupervised methodsdata efficiency
发现论文，激发创造
  • 标签锚定对比学习用于语言理解

    本文提出一种基于标签锚定的对比学习方法（LaCon），用于自然语言理解分类任务中，不需要专门的网络架构或任何额外的数据增强，可轻松插入现有的强大预训练语言模型，相比于现有最先进技术，LaCon 在 GLUE 和 CLUE 基准测试数据集上有高达 4.1% 的提升，同时在少量样本和数据失衡的情况下也展现出显著的优势，获取了 FewGLUE 和 FewCLUE 基准测试任务高达 9.4% 的提升。

    Apr, 2022

  • 面向语言建模的大规模多样化阿拉伯语语料库

    这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

    Jan, 2022

  • 多语言情感分析的集成语言模型

    社交媒体的快速发展使得我们能够分析用户意见。尽管常用语言的情感分析已经取得了显著的进展，但由于资源限制，低资源语言像阿拉伯语等仍然很少有研究。本研究探讨了 SemEval-17 和阿拉伯语情感推文数据集上的推文文本的情感分析，并研究了四种预训练语言模型以及提出了两种集成语言模型。我们的发现包括单语言模型表现出更好的性能，集成模型优于基线，而多数投票集成模型胜过英语。

    Mar, 2024

  • 字典辅助的监督对比学习

    本文介绍了一种使用字典辅助的有监督对比学习模型，使研究人员能够在微调预训练语言模型时利用专门的字典。这种方法可以在少量样本情况下提高分类性能指标和社会科学应用。

    Oct, 2022

  • 摩洛哥方言文本情感分类的实验研究

    本文目的在于通过情感分析依据机器学习模型对 YouTube 摩洛哥方言评论进行分类研究，在采用多种文本预处理和数据表现技术的前提下，证明深度学习模型胜于传统模型，我们达到了 90% 的准确性。

    Mar, 2023

  • 通过人工智能反馈提高对比学习句子嵌入

    CLAIF 方法：利用大型预训练语言模型的人工智能反馈来构建有细粒度样本相似度得分的样本对以改善对比学习，并结合人工反馈和 AI 反馈提供更好的训练信号，实验结果显示在语义文本相似性和迁移学习任务上，与其他半监督和监督对比学习方法比较，CLAIF 实现了最先进的性能。

    May, 2023

  • 基于内容本地化的低资源方言阿拉伯语情感和仇恨行为分析系统：从英语到黎凡特语和海湾语

    提出利用内容本土化的基于神经机器翻译的方法，为低资源阿拉伯方言（如黎凡特语和海湾语）开发情感和仇恨分类器，并通过无监督学习推断隐藏主题，从而在其本土语言 / 方言中提供连贯的解释，从而实现准确区分情感并识别仇恨内容的有效性。

    Nov, 2023

  • 一种结合 CNN 和 LSTM 模型的阿拉伯情感分析方法

    本文探讨了将 CNNs 和 LSTMs 相结合的好处，并在不同数据集上对阿拉伯语情感分析的准确性进行了改进，同时考虑了特定阿拉伯语单词的形态多样性。

    Jul, 2018

  • LlamAr & GemmAr：通过阿拉伯语指导调优提升 LLM

    我们通过创建阿拉伯语指令数据集，对两个开源模型进行微调并在多个下游任务上进行评估，最终达到了阿拉伯语自然语言处理基准的最新性能水平。

    Jul, 2024

  • 研究用于阿拉伯语 - 英语混合代码增强的词汇替换

    本文研究了数据扩充技术，通过对使用平行语料和对齐来进行词汇替换，以便合成方言阿拉伯语 - 英语语料库，并取得了很好的效果，其中使用随机方法的结果在各外部任务中优于使用训练过的预测模型的结果。

    May, 2022