ACLOct, 2022

BanglaParaphrase: 一份高质量的孟加拉语释义数据集

PDF
TL;DR本文介绍了 BanglaParaphrase，这是一个高质量的合成孟加拉语复述数据集，通过新的过滤管道筛选。我们旨在通过引入 BanglaParaphrase，提高孟加拉语在 NLP 领域的低资源状态，通过保留语义和多样性确保质量，并详细阐述我们的数据集和模型与其他现有作品之间的比较分析
发现论文，激发创造
  • 评估孟加拉语词汇类比

    该论文提供了用于评估孟加拉语词嵌入质量的高质量数据集，该数据集对于基准测试和指导未来研究至关重要。

    Apr, 2023

  • ParaAMR：一种大规模的语法多样化释义数据集，基于 AMR 回译得出

    本文介绍了一种通过抽象意义表示来创建大规模句法多样的同义句数据集 ParaAMR，并证明了其在各种 NLP 应用方面的巨大潜力。

    May, 2023

  • BanFakeNews: 用于检测孟加拉语假新闻的数据集

    本文提出了一个可用于建立自动检测低资源语言（如孟加拉语）虚假新闻系统的标注数据集，同时提供了数据集分析和基准系统，采用传统语言特征和神经网络技术，为防止虚假信息传播建立技术贡献。

    Apr, 2020

  • 马拉雅拉姆语改写生成的神经机器翻译

    该研究探讨了四种生成马拉雅拉姆语释义的方法，利用了英语释义和预训练的神经机器翻译模型的资源。我们使用自动化评估指标（如 BLEU、METEOR 和余弦相似度）和人工标注来评估生成的释义。我们的发现表明，自动化评估指标可能不完全适用于马拉雅拉姆语，因为它们与人的判断不一致。这种差异凸显了对高度聚集语言特别是马拉雅拉姆语更细致的释义评估方法的需求。

    Jan, 2024

  • 基于隐式众包数据采集的波斯语释义数据集

    本文介绍了 PerPaDa，这是一个从用户输入中收集的波斯语近义词语料库，旨在帮助检测抄袭。该语料库包含 2446 个波斯语句子的大量近义词和原句，使用了一些启发式方法来排除不符合标准的句子，相对于类似数据集，该数据集更大且更无偏见。

    Jan, 2022

  • ParaCotta: 来自最具多样性的翻译样本对的合成多语言释义语料库

    使用神经机器翻译系统，通过 beam search 生成多个候选翻译样本，选择词汇最多样化的一对生成句式相似，语义丰富、跨 17 种语言的人工合成平行释义语料库，并用 BLEU 对比了其与 ParaBank2，结果表明其生成的句子语义类似而且词汇丰富度较高。

    May, 2022

  • ParaFusion：添加高质量词汇和句法多样性的基于大规模 LLM 驱动的英语改写数据集

    ParaFusion 是使用大型语言模型（LLM）开发的大规模高质量英语改写数据集，旨在解决现有数据集中语法和词汇多样性不足、与原始句子十分相似以及包含仇恨言论和噪音等问题，为提高自然语言处理（NLP）应用提供了一个更加干净和专注的资源。

    Apr, 2024

  • 一个不断增长的句子释义数据集

    本文提出了一种从 Twitter 采集大规模句子释义的新方法，通过链接共享的 URL，并展示了可以轻松捕捉新的句子释义以及利用其进行下游自然语言处理任务的效用。

    Aug, 2017

  • BEnQA：孟加拉语和英语的问题回答与推理基准

    本研究介绍了 BEnQA 数据集，该数据集包括孟加拉国中学和高中水平的平行孟加拉语和英语考试题目。我们的数据集包含大约 5,000 个问题，涵盖了科学的多个学科，并包含事实、应用和推理类问题。我们使用平行数据集对多个大型语言模型进行了基准测试，并观察到了在孟加拉语和英语中模型之间明显的性能差异。我们还研究了一些提示方法，并发现在推理问题上更有利的是 “思考链” 提示，而在事实问题上则不太有利。我们还发现，附加英语翻译有助于用孟加拉语回答问题。我们的研究结果指向了改善孟加拉语和其他资源有限语言中大型语言模型性能的有希望的未来研究方向。

    Mar, 2024

  • ParaBank：基于词汇约束神经机器翻译的单语种双语文本生成和句子改写

    该论文介绍 ParaBank，这是一个大规模的英语释义数据集，使用神经机器翻译和词汇约束生成英语句子的多个高质量释义版本，可用于句子改写任务。

    Jan, 2019