介绍 iNLTK—— 这是一种开放源代码的 NLP 库，由 13 种印度语言中已经预训练好的语言模型，并提供数据增强、文本相似性、句子嵌入、词嵌入、分词和文本生成的支持。通过在公开数据集上使用 iNLTK 的预训练模型进行文本分类，我们表现优于以前的结果，并且通过在 iNLTK 中使用预训练模型和数据增强，我们可以在使用不到 10% 的训练数据的情况下达到先前最佳表现的 95% 以上。iNLTK 已广泛被社区使用，并在 GitHub 上有 40000 + 下载，600 + 星号和 100 + 叉子。

Sep, 2020

本文介绍一个基于 Transformer 库的神经机器翻译（NMT）工具包 Yet Another Neural Machine Translation Toolkit（YANMTT），该工具包允许用户进行预训练、迁移学习、微调和可视化与分析，以及其他高级功能，例如文本多源 NMT 和压缩等。

Aug, 2021

本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

Jun, 2020

我们提出了一种简单而有效的语言无关布局变换器 LiLT，可在单个语言的结构化文档上进行预训练，然后使用相应的现成单 / 多语言预训练文本模型对其他语言进行直接微调，实验结果表明 LiLT 在八种语言上均能够取得竞争性甚至卓越的性能，从而使得能够从文档布局结构的预训练中获得语言无关的益处。

Feb, 2022

通过知识蒸馏和不断学习等技术，本研究着眼于发展处理临床文本的高效轻量级语言模型，与生物医学文本数据训练的大型模型相比，这些模型效果相当甚至更好，并超越了任何其他训练过的小型模型在自然语言推理、关系提取、命名实体识别和序列分类等临床文本挖掘任务上的表现。

Feb, 2023

EasyNLP 是一个支持大规模预训练模型的统一框架，支持多种 NLP 算法，并在阿里巴巴集团的多个业务单元中得到了成功应用和集成。

Apr, 2022

使用基于 Transformer 的架构，通过提出的基于语言的基准系统，对多种自然语言预处理工具进行综合评估和性能追踪，旨在解决现有评估方法的不足和公平性问题。

Mar, 2024

本文介绍了 TextPruner，这是一个开源模型剪枝工具包，旨在为预训练语言模型提供快速和简便的模型压缩方法，包括词汇和转换器剪枝等结构化的后训练剪枝方法，并提出了一种自监督剪枝方法，可以节约模型尺寸，而无需重新训练模型。其应用能够用于各种模型和任务，并在多项 NLP 任务中展现出压缩模型大小的能力。

Mar, 2022

MT-DNN 是一种基于 PyTorch 和 Transformers 的自然语言理解工具包，支持深度学习模型的个性化训练，使用多种目标和文本编码器，并具有鲁棒性和可迁移性的多任务学习方法，支持多任务知识蒸馏。MT-DNN 已在一系列 NLU 应用中展示了其效果。

Feb, 2020

本文研究了将 mT5 多语言模型适应为仅针对印尼语的预训练 T5 模型，通过对多语言模型与本模型在情感分析、问题生成和问答三个任务的表现进行比较，结果表明可以生成一个更小的预训练模型并在 comparable yields 的同时减小模型大小高达 58％，而且所得模型需要更少的内存，加载速度更快，推理时间更快。

Feb, 2023