ACLJun, 2019

ChID: 一份大规模的中文成语完形填空数据集

PDF
TL;DR本文提出了一个大规模的中文填空测试数据集 ChID，用于研究汉语特有的习语理解，该数据集以候选成语替换文章中的成语，考察了候选成语的设计和成语表示对最先进模型的成绩表现的影响，结果显示机器准确率明显低于人类准确率，为今后的进一步研究留下了许多空间。
chinese cloze testchid datasetidiom comprehensioncandidate idiomsmachine accuracy
发现论文，激发创造
  • InDEX: 印度尼西亚成语和表达数据集的填空测试

    我们提出了 InDEX，这是一个针对填空测试的印度尼西亚习语和表达数据集，其中包含 10438 个独特的句子，用于 289 个习语和表达式，我们生成了 15 种不同类型的干扰，从而形成了一个大型的填空式语料库。通过实验，发现将定义与随机初始化结合是增强基线模型并提高填空测试模型性能的更好方法。

    Nov, 2022

  • 汉语成语转述

    本文提出了中文成语改写（CIP）任务，以将包含成语的句子重新表述为不成语的句子并保留原本的意思，从而方便处理中文数据集和提高中文 NLP 任务的性能。本研究使用人与机器协作建立了一个包含 115,530 个句子对的大规模 CIP 数据集，并且使用三种基线模型和两种新方法，表现更好。

    Apr, 2022

  • PETCI：中文成语的并行英文翻译数据集

    提出了 PETCI 数据集，该数据集是一组英汉对照的成语翻译，通过分类模型，在改善机器翻译的同时也可以提供给语言学习者参考。

    Feb, 2022

  • 基于 BERT 的双嵌入模型用于汉语成语预测

    该研究提出了基于 BERT 的双重嵌入模型来预测句子中的成语，实验表明该方法在中文成语填空测试数据上具有更好的表现。

    Nov, 2020

  • 教师创建的大规模完形填空测试数据集

    本篇论文提出了一种新的人造填空测试数据集 CLOTH，并测试了基于语言模型、自动化模型，和人类模型的表现，结果显示人类模型比基线模型优秀，并且分析了基线模型不足之处，发现理解长时期语境是关键瓶颈。

    Nov, 2017

  • 利用黑名单方法评估中文成语机器翻译性能

    本文基于黑名单方法，使用一个新的评估方法 CIBB 测试数据集，对机器翻译系统的成语翻译质量进行了评估，结果表明常见错误类型为逐字逐句字面翻译，黑名单方法可以有效发现该种错误类型。

    Nov, 2017

  • 基于同义词知识增强的汉语成语阅读理解模型

    本文定义了相应的字面涵义覆盖概念，构建同义词图和采用门控机制来利用同义词知识，通过在大规模的汉语成语阅读理解数据集 ChID 上的实验结果，表明将同义词知识融入机器阅读理解可大大提升其性能。

    Nov, 2020

  • 语言识别的开放数据集和模型

    该研究提出了一种基于单语数据训练的语言识别模型，其在 201 种语言上的宏平均 F1 得分为 0.93，而误报率为 0.033，将先前工作的表现远远超过。我们对数据集进行了精心筛选，通过手动审核每个来源和每种语言的样本来确保其可靠性。模型和数据集都向研究界公开，并详细分析了模型的性能。

    May, 2023

  • 谁做了什么：一个大规模的人以为中心的填空数据集

    本文介绍了一份新的 “谁做了什么” 数据集，其中包含了超过 200,000 个填空阅读理解问题，使用 LDC 英语千万字级新闻语料库构建。数据集具有多种新特性，例如使用两个独立的文章来形成问题，其中每个选项都是命名实体，问题已被筛选，以剔除人类可以轻松解决的问题。同时，对标准系统进行了性能基准测试，并将该数据集作为社区挑战任务提出。

    Aug, 2016

  • DRCD：一个中文机器阅读理解数据集

    介绍 DRCD (Delta Reading Comprehension Dataset)，这是一个面向开放领域的传统中文机器阅读理解数据集，包含来自 2,108 个维基百科文章的 10,014 段落和超过 30,000 个问题。我们构建了一个基准模型，其 F1 得分为 89.59%，人类表现的 F1 得分为 93.30%。

    Jun, 2018