通过提出一个更具挑战性的标准 hardBench，通过 11 个数据集，包括 3 个计算机视觉（CV）数据集和 8 个自然语言处理（NLP）数据集，研究表明目前模型的弱点，尤其是在低资源学习困难的情况下，证明了现有模型与人类性能水平之间仍然存在较大的鲁棒性差距。

Mar, 2023

本文调查了低资源自然语言处理的相关方法，其中包括数据增强、遥感监视和迁移学习等技术以帮助在需要训练数据较少的情况下提高神经模型的性能，并通过说明这些方法的差异帮助选择适合特定低资源设置的技术。

Oct, 2020

大型基础模型的资源挑战是一个重要问题，本调研综合分析了现有文献修复切片从模型架构到资源策略的多个方面，为理解当前方法和激发未来突破提供了全面的观点。

Jan, 2024

视觉系统、基础模型、环境中的上下文推理、训练目标和计算机视觉的挑战和研究方向的综述。

Jul, 2023

在具有有限训练数据并在分布转变下无法有效推广的情况下，传统的迁移学习方法效果有限。然而，最近的基础模型在分布转变下表现出了令人印象深刻的零样本推理能力和鲁棒性。为了解决这些问题，在此提出了一种适用于流行的视觉 - 语言基础模型 CLIP 的小样本微调方法，并对具有现实分布转变的具有挑战性的基准数据集进行了评估。实验证明，在训练数据供应的各个级别上，与只有视觉的模型相比，少样本 CLIP 微调在内部分布准确性和外部分布准确性方面表现更好，这为在使用真实世界数据的小样本学习应用中采用基础模型提供了强有力的动机。

Nov, 2023

基于基础模型的主动学习策略通过利用稳定的表示形式，平衡不确定性估计和样本多样性，在标签效率方面取得了令人印象深刻的成果。

Jan, 2024

在过去的十年中，深度学习在自然语言处理、计算机视觉和生物医学信号处理等各个人工智能领域中占据主导地位。虽然模型的准确性有了显著提高，但将这些模型部署在移动手机和微控制器等轻量设备上受到资源限制的制约。本调查报告针对这些设备提供全面的设计指导，详细介绍了轻量模型的细致设计、模型压缩方法和硬件加速策略。本工作的主要目标是探索在不影响模型准确性的情况下克服硬件限制的方法和概念。此外，我们还探讨了未来轻量深度学习的两个值得关注的方向：TinyML 和大型语言模型的部署技术。尽管这些方向无疑具有潜力，但它们也带来了重大挑战，鼓励研究未开拓的领域。

Apr, 2024

通过构建低层视觉感知、低层视觉描述和视觉质量评估三个领域的综合基准，评估了多模式大型语言模型在低层视觉感知和理解方面的能力，并发现其具有基本的低层视觉技能，但这些技能仍不稳定和相对不精确，需要针对这些能力进行特定的增强。

Sep, 2023

利用弱模型监督强模型以提升性能，采用新颖的自适应可调整损失函数进行弱强监督的综合实验，超越了基准性能和使用整个数据集进行微调的结果，展示了弱强泛化在提升视觉模型性能方面的重大潜力。

Feb, 2024

基础模型在遥感任务中的适用性取决于自监督学习任务与实际下游任务的一致性，而传统机器学习模型在某些场景下表现得更好，尤其是在纹理不适用于分类的任务中。

Apr, 2024