为了实现一种泛用的自然语言理解技术，我们引入了 GLUE 基准测试，它是一种用于评估并分析现有 NLU 任务中模型性能的工具。该测试套件是模型无关的，提供手工诊断测试套件以进行详细的语言分析。我们评估了基于当前的多任务和迁移学习方法的基线，发现它们并没有立即在将单独的模型训练于每个任务上的总体表现上取得大幅度的改进，这表明在开发泛用且稳健的自然语言理解系统方面有改进的空间。

Apr, 2018

SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

Mar, 2019

介绍 iNLTK—— 这是一种开放源代码的 NLP 库，由 13 种印度语言中已经预训练好的语言模型，并提供数据增强、文本相似性、句子嵌入、词嵌入、分词和文本生成的支持。通过在公开数据集上使用 iNLTK 的预训练模型进行文本分类，我们表现优于以前的结果，并且通过在 iNLTK 中使用预训练模型和数据增强，我们可以在使用不到 10% 的训练数据的情况下达到先前最佳表现的 95% 以上。iNLTK 已广泛被社区使用，并在 GitHub 上有 40000 + 下载，600 + 星号和 100 + 叉子。

Sep, 2020

Dynatask 是一个开源系统，它旨在极大地降低主机和评估最先进的自然语言处理（NLP）模型所需的技术知识和工作量，以及用众包进行模型数据收集。用户只需要编写一个简短的任务配置文件，系统会自动生成相关的 Web 界面和模型托管基础设施，并与具有人类和模型数据收集和评估的 Dynabench 平台集成。

Apr, 2022

Trankit 是一个轻量级的基于 Transformer 的工具包，提供了一个可训练的多语言 NLP 任务流水线，支持 100 多种语言，以及 56 种语言的 90 个预训练流水线，可用于句子分割、词性标注、形态特征标注、依存分析等任务，同时保持了 90 种通用依存树库中的标记化、多词标记展开和词形归并的竞争性表现。

Jan, 2021

SciWING 是一个开源的软件工具包，可提供用于科学文档处理任务的预训练模型，其中包括引文字符串解析和逻辑结构恢复。它使研究人员能够快速尝试使用不同的模型，并允许他们从配置文件中声明和运行模型。它执行基于生产的迁移学习，包括通用的预训练的 transformers（如 BERT 和 SciBERT），以及支持终端和 Web 应用程序的完成（可从此 http 网址获取）。

Apr, 2020

该论文介绍了第一个大规模的中文语言理解评估基准，名为 CLUE，以帮助解决英语特定的自然语言理解模型难以用于其他语言的问题，并使用 9 个最先进的中文预训练模型来报告结果，并引入了一系列辅助数据集和工具以促进中文自然语言理解技术的进一步发展。

Apr, 2020

本文介绍 WYWEB 评估基准，它由 9 个古汉语 NLP 任务组成，包括句子分类、序列标注、阅读理解和机器翻译，并评估了现有的预训练语言模型在这个基准上的表现，并提出了一些补充数据集和工具，以进一步促进古代汉语 NLU 的进展。

May, 2023

最新的自定义大语言模型的开发和关键成就，包括支持灵活调整训练数据和课程学习的新式在线数据调度器，采用最新的技术，如旋转位置嵌入、QK-LayerNorm 和特制的多语言分词器来增强稳定性和性能。此外，我们的强大训练框架还结合了先进的监控和快速恢复功能，以确保最佳效益。我们的 Wonton 7B 模型在多种语言和英语基准测试中表现出竞争力。未来的发展将优先缩小与更广泛训练模型之间的性能差距，从而提高模型在实际中的效力和适应性。

Apr, 2024

提出了一种使用大规模非配对文本来改善说话者对罕见单词的识别能力的训练方法 JEIT，它结合了端到端模型和内部语言模型训练，其中内部语言模型吸收非配对文本，接受 E2E 计算损失信息，从而提高 E2E 模型的性能。在 JEIT 过程中，MHAT 表现比 HAT 更佳，在 ILM 适应时更加稳定，此外，我们还提出了结合 JEIT 和 JOIST 的 CJJT 方法，它能更有效地实现语言模型的融合。

Feb, 2023