Ticket-BERT：利用语言模型标注事件管理工单
该研究旨在通过使用文本相似性范式，考虑主题、描述和解决方案之间的显著术语不匹配性，并利用短文本和长文本的主题和分布式语义特征来改进相似性学习和检索，提出了一种新颖的复制Siamese LSTM模型来学习不对称文本对的相似性，相对于无监督和有监督基线，检索任务的准确性得到了22%和7%的提升。
Jul, 2018
本文针对低资源语言中事件提取的难点，使用收集自新闻网站的新数据集（InDEE-2019）进行深度学习模型的规则扩充和标签尾部的规则创建，通过实验验证了各种方法的有效性。
Aug, 2019
本文从彩票猜想的角度探究了大型基于Transformer的模型可以通过剪枝获得可比拟完整模型性能的子网络。使用结构剪枝和数量剪枝对Fine-tuned BERT进行实验，发现即使是最差的子网络也表现良好，表明预训练BERT的大多数权重可能都是有用的。
May, 2020
本文采用彩票票据假说来研究预训练的 BERT 模型是否存在可训练的、可转移的子网络，发现在一些任务上存在符合条件的子网络，这些子网络在初始化时即可被找到，其中在与预训练任务相同的任务上找到的子网络具有普适的迁移性，而在其他任务上找到的子网络则具有有限的迁移性。
Jul, 2020
研究通过数据驱动和端到端的方法，使用TicketTalk数据集和基于神经网络的预训练模型构建了一个可以实现近乎人类级别回应质量和API调用准确性的交易对话系统，并通过预训练提高了系统的API预测和响应生成得分.
Dec, 2020
本篇论文提出了EarlyBERT，这是一种通用的计算高效的训练算法，可用于大规模语言模型的预训练和微调，通过对自注意和全连接子层进行精简，第一次在BERT训练的早期阶段中发现了结构优质的winning tickets，实验结果表明，与标准BERT相比，EarlyBERT能够在35-45％的训练时间内实现相当的性能。
Dec, 2020
该研究探讨了Lottery Ticket Hypothesis理论，在预训练语言模型这样极度超参数化的模型中，如何通过压缩ratio选定一组“winning tickets”子模型来匹配全模型的性能。另外观察到当compression ratio达到某个临界点时，性能会出现相位转变现象，我们称此时被删减对临界点最立竿见影的超票为“super tickets”，实验证明它们对BERT-base和BERT-large的单任务微调平均得分分别有0.9和1.0的提升，多任务学习时的共享也取得了提升。
May, 2021
本文通过对BERT子网络的研究发现直接优化子网络结构能更好地保留预训练性能，探究了幸运彩票假设、幅度剪枝和二值掩码训练等方法在BERT子网络中的应用，发现二值掩码训练方法在寻找改进BERT子网络性能方面更加有效。
Apr, 2022
本文研究了在标记分类数据集中寻找包含标签错误的句子的方法，并通过在 CoNLL-2003 的实体识别数据中进行的准召率评估，确立了一种简单有效的方法，能够用于该任务。
Oct, 2022
我们提出了一种基于投票的半监督方法，自动获取事件的典型持续时间并将其用作伪标签数据。人工评估表明，我们的伪标签表现出令人惊讶的高准确性和平衡覆盖率。在时间常识问答任务中，实验结果显示，仅使用400个事件的伪样本，我们的表现可与现有的基于BERT的弱监督方法相媲美，而这些方法需要大量的训练样本。与RoBERTa基线相比，我们的最佳方法在准确匹配方面实现了最新的技术水平，提高了7%。
Mar, 2024