提出了一个增强参数高效方法的少样本适应和跨领域泛化能力的通用框架，通过使用自监督模型来迅速适应各种下游少样本任务，并在一个包含 160 个不同 NLP 任务的跨领域基准上进行了实验证明，在额外的训练任务调整 PLM 的前提下最佳性能，综合分析了各种少样本跨领域场景下的参数高效方法。
Dec, 2022
本文通过实证分析表明新加基于先验知识的 priming 特征（例如通过视觉学习中的最近一帧或者图像分类中的醒目前景进行分类）可以显著提高深度学习对图像分类、持续控制和自主驾驶等应用的效果，从而较好地避免训练时出现的 “短路” 现象。理论上，这是因为 priming 特征引导了模型优化的方向，使其避免陷入一些不可靠的简单捷径。
Jun, 2022
本文提出了面向语义的未标注引导和上下文词袋引导两种方式，以利用未标注数据来提高预训练语言模型的零 - shot 性能，同时不需要任何参数更新。
Feb, 2022
本文针对系统域转移下的计算机视觉模型，提出了熵最小化和伪标记等自学习技术的应用，通过大量实验展示了显著的改进效果和实用性。同时，本文还提出了一个新的分类数据集 ImageNet-D，对于自适应算法来说具有一定的挑战性。
Apr, 2021
该论文提出了一种利用知识蒸馏的方法来训练具有有限训练数据的神经网络的技术，该方法引入了一些新的 pseudo training examples，通过这些伪样本更好地优化了模型参数。实验结果表明，与传统的基线和知识蒸馏方法相比，该方法表现出更好的性能。
Feb, 2018
提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。
May, 2022
提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。
提出了一种适应神经网络在测试时分布发生变化的方法，通过闭环系统和测试时反馈信号来在实时中进行网络的适应，该方法使用基于学习的函数来实现很好的效果，使适应比基准方法更加灵活和快捷。
Sep, 2023
我们提出了一种简单的方法，利用标签空间的度量信息通过替换传统的预测规则中的 argmax 来适应已训练好的模型以可靠地预测新类别，或者在零样本预测中提高性能，而无需额外的训练。我们对该方法进行了全面的理论分析，研究了学习理论结果、标签空间直径、样本复杂度和模型维度之间的权衡、预测任何未观察到的类别的全部情境特征以及在不能预测所有未观察到的类别范围时获得最优训练类别的最新类别选择程序。在实证研究中，我们的方法 Loki 利用易得的外部度量指标在 ImageNet 上相对 SimCLR 可获得高达 29.7% 的相对改进，并可扩展到数十万个类别。当没有可用的度量指标时，Loki 可以使用类别嵌入的自主度量，在预训练的零样本模型（如 CLIP）上获得了 10.5% 的改进。
Jul, 2023
在现代机器学习中，基于网络规模的大型神经网络学习成为核心。本研究考虑在一个与应用领域不匹配的混杂预训练数据集的情况下，通过调整预训练分布的算法来适应目标测试条件。通过在线双层优化问题的一种近期表述，提出了一种算法，并考虑了可扩展性，该算法优先计算在训练点上的梯度，这些点最有可能改善目标分布上的损失。从经验证实，在某些情况下，这种方法比现有的领域适应性策略更加有益，但在其他情况下可能不成功。我们提出了一个简单的测试来评估我们的方法何时表现良好，并指出进一步的研究来解决当前的限制。
Nov, 2023