ACLMar, 2023

通过机器阅读理解无法回答的问题揭示越南语语言模型的缺陷

PDF
TL;DR通过机器阅读理解任务全面分析现有越南语单语模型的语言优势与弱势，提出新的模型开发方向；同时也发现了越南语阅读理解基准测试中的人工错误，建议使用更高 - quality 的基准测试来追踪越南语阅读理解技术的进展。此外，作者还对先前的问题注释过程进行了宝贵的修改，提高了问题难度以帮助机器阅读理解系统。
multilingual modelsvietnamese languagemachine reading comprehensionlanguage weaknesseshigh-quality benchmarks
发现论文，激发创造
  • 一份用于评估机器阅读理解的越南语数据集

    本研究为缺乏基准数据集的低资源语言（如越南语）创建了一个新的数据集 UIT-ViQuAD，包含超过 23000 个由人类创建的问题 - 答案对和 174 篇来自维基百科的越南文章。通过用现有最先进的机器学习模型解决问题来比较联合测量人类表现和最佳模型表现的结果，结果表明，未来的研究可以提高越南 MRC 的准确度和性能。

    Sep, 2020

  • VLSP 2021 - ViMRC 挑戰賽：越南機器閱讀理解

    本文介绍了一个名为 UIT-ViQuAD 2.0 的越南文机器阅读理解数据集，它可以用于评估和研究机器阅读理解任务和相关任务，如问答、问句生成和自然语言推理。该数据集吸引了 77 个团队参与，其中表现最好的三个团队使用基于 Transformer 结构的强大的预训练语言模型 XLM-RoBERTa，其准确率在 F1 得分方面为 77.24％，在 Exact Match 方面为 67.43％。

    Mar, 2022

  • 面向越南语教育的多项选择阅读理解语料库

    提出了 ViMMRC 2.0，结合多步骤的注意力神经网络和自然语言推理任务，对越南语文本进行了阅读理解测试，结果表明其在新数据集上的测试正确率最高可达 58.81％。

    Mar, 2023

  • 跨越语言的视角：越南大型语言模型的微调和全面评估

    通过为越南语进行精细调整并开发了综合评估框架，我们发现精细调整的大型语言模型在越南语上表现出更好的理解和生成能力，并且模型规模和训练数据质量对模型的性能有重要影响。

    Mar, 2024

  • VlogQA: 越南口语问答的任务、数据集和基线模型

    通过捕捉越南母语者在自然环境中的口语表达，这篇论文描述了一个用于机器阅读理解任务的越南口语语料库的开发过程，并提供了使用真实数据进行机器阅读理解任务所面临的挑战和机遇的见解。

    Feb, 2024

  • 健康新闻文章机器阅读理解的新越南语语料库

    介绍了 ViNewsQA，这是用于越南语的一种新的用于评估医疗领域阅读理解模型的语料库，其中包含 22057 个人工生成的问题 - 答案对和比较人类和不同机器阅读理解方法的性能，其中 ALBERT 模型在该语料库上获得了最好的性能。

    Jun, 2020

  • 越南多项选择阅读理解的深度神经网络模型实验研究

    本文介绍了利用多个神经网络模型对低资源语言（越南语）中的多项选择机器阅读理解的影响进行的实验，其中使用了六种不同的越南语单词嵌入和 BERT 模型，在 ViMMRC 语料库上的测试集中，BERT 模型的准确率为 61.28％。

    Aug, 2020

  • 基于越南维基百科文本知识源的开放领域问答

    这篇论文提出了 XLMRQA 作为第一个使用监督 transformer-based reader 和基于 Wikipedia 的语料库作为知识来源的越南问题回答系统，优于基于深度神经网络模型的 DrQA 和 BERTserini，同时分析了问题类型对 QA 系统性能的影响。

    Apr, 2022

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 一种以理解为导向的鲁棒机器阅读理解模型

    提出了一种基于理解的机器阅读理解模型，通过自然语言推理模型、多头注意力方法以及多语言学习机制解决了过度敏感、过度稳定和泛化能力等问题，实验结果表明其在 DuReader 和两个 SQuAD 相关数据集上表现优异。

    Jul, 2022