我们提出了一个新颖的任务，即控制词汇复杂度的句子生成，该任务旨在使用具有所需复杂度水平的关键词生成句子。我们提出了一种基于复杂度嵌入的简单而有效的方法，用于训练模型和微调预训练模型，并在英文和中文数据集上进行了广泛的实验。结果表明，相对于基线方法，我们的方法更好地控制了词汇复杂度并生成了更高质量的句子。

Nov, 2022

DataComp 基准测试是一个围绕 Common Crawl 的约 128 亿个图像文本对的数据集实验平台，通过提出新的训练集来激励数据集的研究。通过应用简单的过滤算法，DataComp-1B 被创建并用于训练一个 CLIP ViT-L / 14 模型，使其在 ImageNet 上达到 79.2％的零 - shot 准确率，表明通过精心策划的训练集可能会提高模型的性能。

Apr, 2023

本文提供一个超过 10 万个问题的中文偏见基准数据集，包括与中国文化和价值观相关的 14 个社会维度中的刻板印象和社会偏见，通过广泛文献综述、生成环境、AI 辅助去歧义生成、手动审核和重组等步骤，展示了数据集的广泛覆盖和高多样性，实验表明所有 10 个公开可用的中文大型语言模型在某些类别中存在强烈的偏见。

Jun, 2023

我们引入了用于语言模型的 DataComp（DCLM）的测试平台，通过进行受控的数据集实验来改进语言模型。作为 DCLM 的一部分，我们提供了从 Common Crawl 中提取的标准化语料库，基于 OpenLM 框架的有效预训练方法以及广泛的 53 个下游评估。DCLM 基准模型的实验结果表明，基于模型的过滤是组装高质量训练集的关键。我们的研究结果强调了训练语言模型的数据集设计的重要性，并为进一步研究数据策划提供了一个起点。

Jun, 2024

本文提出了一种新的中文阅读理解数据集 —— 包括选择题和用户问题阅读理解，并且是人工验证和隐藏测试集的大规模训练数据。同时，还举办了首届中文机器阅读理解评估（CMRC-2017），成功吸引了数十名参与者。

Sep, 2017

该研究提供了 TextComplexityDE 数据集，其中包括 1000 个句子，采自不同领域的 23 篇德文维基百科文章，用于开发文本复杂性预测模型和德语自动文本简化。该数据集包括由德语学习者在 A 和 B 级别提供的不同文本复杂度方面的主观评估，此外，还包括了由母语德语者提供的 250 个句子的手动简化以及目标群体参与者对简化后句子的主观评估。主观评级使用实验室研究和众包方法进行收集。

Apr, 2019

评估大型语言模型在语言理解和生成领域中是一项重要任务。我们提出了一套新的基准测试，利用现有的英文数据集，并专门针对评估传统汉语语言模型进行调整，包括问答、摘要、分类和表格理解等任务。评估结果表明，我们的模型在部分评估能力方面达到了与 GPT-3.5 相媲美的性能。为了推进传统汉语语言模型的评估并激发更多研究，我们已经开源了我们的基准测试并开放了模型供试用。

Sep, 2023

本文介绍了第一个英语数据集，以连续的词汇复杂度预测为目标，通过使用一种 5 点 Likert 量表方案，注释文本中来自三个领域的复杂单词并得出： 9,476 个句子的语料库。

Mar, 2020

提出了一个新的任务：简单定义生成（SDG）。使用一个复杂字典和一个包含任意简单文本的语料库，提出了一个多任务框架 SimpDefiner，包含两个解码器，可以同时生成复杂和简单的定义，有效提高了中文定义中 HSK 1-3 级词汇的比例。

Mar, 2022

本文介绍了 SemEval-2021 任务 1 的结果和主要发现，该任务专注于单词和多词表达式的词汇复杂性预测，使用 CompLex 语料库对这些单词和表达式进行了标注。该比赛吸引了 198 支队伍参加，其中 54 支队伍提交了关于单词的正式结果，37 支队伍提交了关于多词表达式的正式结果。

Jun, 2021