本研究提出了一种新颖的神经网络框架，将预先训练好的字级知识和字符感知神经语言模型相结合，利用转移学习技术实现不依赖于额外监督信号的序列标注任务，并在基准数据集上通过大量实验验证了其有效性和高效性。

Sep, 2017

本研究提出了一种基于稀疏性诱导正则化的层选择方法，用于压缩大型预训练语言模型，以提高特定任务的计算效率，并在两个基准数据集上进行了实验验证其有效性。

Apr, 2018

通过使用通用的基于Bi-LSTM的神经序列标注模型，其应用于广泛的自然语言处理任务和语言，结合从数据中提取的形态、语义和结构提示信息以进行有根据的预测，本研究在8个基准数据集上对其性能进行了评估，其结果在4个数据集上取得了最佳的表现。

Aug, 2018

我们提出了一种实用的方案来训练一个单一的多语言序列标注模型，这个模型在单个CPU上运行，能够给出最先进的结果，足够小和快速。从一个公共的多语言BERT检查点开始，我们的最终模型比最先进的多语言基线模型更加准确，并且速度更快，6倍更小。我们证明了我们的模型特别是在低资源语言上表现出色，并且可以在混合输入文本上工作，而不需要对混合示例进行明确的训练。我们通过70棵树库和48种语言的词汇标注和形态预测来展示我们方法的有效性。

Aug, 2019

该研究提出了一种生成式框架，用于多个序列标记任务和句子级分类。与以往的判别式方法不同，该模型通过共享自然语言输出空间，自然地融合标签语义，并在任务之间共享知识。该框架具有通用性，可在 few-shot、低资源和高资源任务上表现良好，并在命名实体识别、槽位标记和意图分类等基准测试中展示了这些优势。

Sep, 2020

该研究提出了通过自训练和元学习技术解决多个自然语言处理任务中低标注数据带来的挑战的方法，并在六个基准数据集上实验证明了其在标注数据较少的情况下具有良好的效果。

Oct, 2020

本文介绍了一个用于序列标记任务的提前退出机制，可以加速预训练模型的推断速度，同时通过基于窗口的判别标准以及自我采样微调等手段进一步降低了计算成本，并在三个常见序列标注任务上取得了较好的结果。

May, 2021

本篇论文系统研究了利用包含解码技术的序列到序列模型（Sequence-to-Sequence，简称S2S）开展的语音识别、命名实体识别、组成性和依赖分析等任务。作者设计和评估了三种不同的线性化模式及相对应的约束解码模式，进行了实验比较，结果表明，使用本文方法的S2S模型优于其他采用外部资源的S2S方法，并得到了优异的性能。

Feb, 2023

本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。

Feb, 2023

我们提出了一种多阶段协同知识蒸馏方法，用于稀缺标记数据的半监督序列预测任务，通过从提示的大型语言模型中蒸馏出的学生模型，在特定任务上能够更好地泛化，且在两个句法分析任务上表现出了优势。

Nov, 2023