使用多语言 Transformer 模型和适配器扩展加上少样本学习方法的组合，成功地在沟通科学领域的实际案例中实现了通过自动检测声明和论据并确定其立场来改善包括复杂语义类别编码在大数据集上的自动内容分析，提供了与完全微调 PLMs 相媲美的有效性，同时在沟通研究中具有更好的特性。

Dec, 2023

本文提出了一种基于条件神经过程的方法，用于 few-shot 文本分类，通过从其他各种丰富注释的任务中迁移学习，利用梯度信息从基础模型中表示每个任务，并训练一个调整网络来调整一个文本分类器，受任务表示的条件约束，实验结果表明，这种方法在多个 few-shot 任务上的表现优于传统的 fine-tuning、序列迁移学习和最先进的元学习方法。

Jan, 2022

本文针对汽车领域文本软件需求分类问题，提出了对极少量标注样本进行 Few-shot 学习 fine-tuning 的算法和方法，发现在只有数十个标注样本时，SciBERT 和 DeBERTa 的效果最好；但随着标注样本数量的增加到 50 个，相对于 Siamese 和 T5，它们的性能提升微乎其微

Feb, 2023

研究了一种新的 NLP 任务：增量少样本文本分类，挑战是系统需要在不重新训练之前的类别示例的情况下轮换增量学习新类别，并在新类别下表现良好，同时不影响之前类别的分类，并在此基础上，提出了两种蕴含方法来解决这个问题，并公开了两个基准数据集。

Apr, 2021

本文综述了超过一百种不同的视觉 Transformer 根据三个基本的计算机视觉任务和不同的数据流类型，提出了一个分类法来组织代表性的方法，评估和比较所有这些现有的视觉 Transformers 在不同的配置下，并揭示一系列的重要但未开发的方面，最后指出了三个有前途的研究方向。

Nov, 2021

探索使用双向长短时记忆网络和 Transformer 网络在英语和希腊语上进行 ATIS 基准数据集的实体识别和意图分类任务中的效果并进行比较分析，结果表明使用这两种网络模型都可以得到高性能的结果。

Nov, 2022

本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。

Jun, 2022

该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响，利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题，并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能，相对于 5-shot 和 10-shot 学习中的最佳性能，结合元学习的增强提供了高达 6.49％和 8.53％的相对 F1 分数改进。

Jan, 2021

本文利用小型数据集对比了双向 LSTM 模型和预训练 BERT 模型的表现，结果表明对于小数据集，使用双向 LSTM 模型的性能显著优于使用 BERT 模型，且训练时间更短，因此在选择模型时需要考虑任务和数据等因素。

Sep, 2020

基于一种新的梯度下降优化方法，本文探索了一个常用的视觉 - 语言模型的嵌入空间，通过 Imagenette 数据集的实验结果表明，尽管该模型达到了超过 99% 的零样本分类性能，但在系统性评估中却完全失败，使用线性近似说明了这些显著差异，并提出了一种可检测修改图像的强大方法。

Feb, 2024