Dec, 2023

利用领域适应和数据增强提高英语和阿拉伯语中古兰经 IR 的效果

PDF
TL;DR通过最新的神经信息检索方法，我们研究了如何更高效地处理阿拉伯语和英语的古兰经信息检索问题。通过在大量通用领域数据上进行训练，然后在特定领域数据上继续训练，并采用数据增强技术，我们取得了在 MRR@10 和 NDCG@5 指标上明显改善的成果，为英语和阿拉伯语的古兰经信息检索设立了新的技术标杆。
qur'anic information retrievalneural irdata augmentation techniqueislamic corpus compilationdomain-specific language model
发现论文，激发创造
  • 神经网络阿拉伯语问答

    本文介绍了一个使用维基百科作为知识来源来解决阿拉伯语开放领域事实问题回答的方法，提出了阿拉伯阅读理解数据集（ARCD），并使用预训练的双向转换器 BERT 构建了 SOQAL 系统来回答问题，实验结果表明其有效性。

    Jun, 2019

  • 阿拉伯语机器翻译的领域适应：金融文本的案例

    本研究探索了在尚未开发的金融领域中，为阿拉伯机器翻译（AMT）应用特定领域的适应性方法，结果表明只需少量与领域对齐的阿拉伯 - 英语片段，使用预训练的 NMT 和大型语言模型 (包括 ChatGPT-3.5 Turbo) 进行微调能够取得成功，ChatGPT 的翻译质量在自动和人工评估中均优于其他模型。

    Sep, 2023

  • 针对机器翻译的领域特定文本生成

    本研究提出了一种利用预训练语言模型进行领域特定数据增强的领域自适应新方法，通过该方法，配合回译技术，可生成大量合成双语的领域内数据，从而显著改进了机器翻译的领域内文本的翻译效果。人工评估结果进一步证实了自动评估结果的准确性。

    Aug, 2022

  • QASiNa：使用《先知传记》的宗教领域问答系统

    本研究提出了以印尼语版 Sirah Nabawiyah 文献为基础构建的 Question Answering Sirah Nabawiyah (QASiNa) 数据集，并通过 mBERT、XLM-R 和 IndoBERT 模型在该数据集上进行了实验，结果显示 XLM-R 模型在 QASiNa 上的性能最佳，而 Chat GPT 则在宗教领域的问答任务中不适用，尤其对伊斯兰宗教而言。

    Oct, 2023

  • 神经信息检索的无监督领域自适应

    比较了使用大型语言模型生成查询和基于规则的方法进行合成注释来进行神经信息检索，结果表明大型语言模型在所有情景中的性能优于基于规则的方法，而无监督领域适应相对于零样本方式应用监督信息检索系统是有效的。

    Oct, 2023

  • RE-AdaptIR: 逆向工程的改进信息检索适应性

    通过使用未标记的数据，我们研究了倒向工程适应信息检索 (RE-AdaptIR) 的有效性，以改进只使用未标记数据的基于大语言模型的信息检索 (LLM-based IR) 模型， 并且展示了在培训领域和未见过查询的领域中性能的改善。

    Jun, 2024

  • 构建与伊斯兰世界观相符的领域专用 LLMs：幻觉还是技术可能性？

    构建与伊斯兰世界观一致的领域特定大型语言模型 (Large Language Models) 的挑战、解决方案和评估方法的研究。

    Dec, 2023

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • AEC 领域通用信息检索任务的预训练领域特定语言模型

    这项研究系统地探索了领域专用语料库和各种迁移学习技术对信息检索任务的深度学习模型性能的影响，并提出了一个用于建筑、工程和建筑（AEC）领域的预训练领域专用语言模型。BERT 模型在所有 IR 任务中的表现明显优于传统方法，在 F1 得分中的最大改进分别为 5.4％和 10.1％。

    Mar, 2022

  • 面向语言建模的大规模多样化阿拉伯语语料库

    这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

    Jan, 2022