- Transformer 压缩综述
在该研究中，作者通过综述了解压缩方法对 Transformer 模型在自然语言处理和计算机视觉领域的应用，并对修剪、量化等压缩方法进行了分类和讨论。
- 将认知任务整合进针对大型模型的人工通用智能测试
大型模型的性能评估是保证其能力和应用安全性的必要步骤，而当前的模型评估缺乏一个统一的框架来评估大型模型的多维智能。本文提出了一个全面的人工智能测试框架，包括认知科学和自然语言处理，旨在评估大型模型的智能水平，并通过一系列认知测试来指导其在不 - Polyp-DAM: 基于深度任意模型的息肉分割
本文通过利用深度先验的方式，使用大规模模型和卷积神经网络对息肉图像进行分割，在实验证明了该方法的有效性，并观察到该方法在含有噪声的息肉图像上仍表现良好。
- EVA-GAN: 提升各种音频生成的可扩展生成对抗网络
通过扩展性生成对抗网络（EVA-GAN）以及使用大规模模型、高保真音频生成、领域外数据鲁棒性以及频谱与高频重建方面的显著改进，我们的工作能够通过采用 36000 小时的 44.1kHz 音频数据集、上下文感知模块和人在循环中的工件测量工具包 - VIALM: 视力障碍者辅助的大模型调查和基准
自动化帮助视障人士处理日常活动的目标是通过计算机视觉和自然语言处理的发展实现的，使用大型模型，通过大规模研究调查了大型模型在视障辅助方面的潜力和限制，结果显示，虽然大型模型可以增强视障辅助功能，但其输出无法很好地与现实接轨并且缺乏细致的指导 - 大模型时代的数据增强调查
大型模型驱动的数据增强方法的综述，包括图像增强、文本增强和配对数据增强三个主要类别以及相关的数据后处理技术和应用领域，评估了大型模型驱动的数据增强在不同场景下的成功和限制，并提出了未来研究的挑战和方向。
- 多语言和全非自回归 ASR 与大型语言模型融合：一项全面研究
在大模型时代，解码的自回归特性通常导致延迟成为一个重要瓶颈。我们提出了一个非自回归 LM 融合 ASR 系统，有效地利用了加速器硬件的并行化能力。我们的方法是将 USM 和 PaLM 2 语言模型以每个片段评分模式结合起来，在 FLEURS - LMaaS：大型模型作为服务的定价策略探索
本文提出了 Large Model as a Service (LMaaS) 的概念，将大型模型的灵活租赁作为智能通信的一种策略，通过优化定价和选择决策来解决动态和异质客户环境下的定价优化问题。
- 训练 'N' 交易：参数市场基础
通过交易模型的组成部分，即权重集，作为市场商品，提出建立参数市场的基本问题，研究交换参数的策略，并提供代理商货币化参数的方法，揭示通过市场使用参数可以在竞争环境中互相获益，建议参数市场的概念可能有助于未来改进大规模模型训练。
- 差分隐私下的零冗余分布式学习
使用 DP-ZeRO 系统化解决可训练的巨大 DP 模型的问题，实现深度学习和大型模型的隐私保护训练。
- 视觉中可信大规模模型：调查
大型模型的快速进展在深度学习的各个领域中带来了显著的成绩，但其强大性能而不可信赖的行为成为学术界和工业界面临的挑战。本综述总结了在视觉领域中妨碍大型模型信赖使用的四个相关问题，包括人类误用、易受攻击、内在问题和解释性，通过突出每个主题中的相 - HELLaMA: 基于 LLaMA 的表格文本生成方法，通过突出重要证据
使用大型模型进行 fine-tuning，注入推理信息，突出表格的效果，并且获得最先进的结果。
- 数学 NAS：如果单元在数学架构设计中有作用
利用数学规划，MathNAS 提出一种分治策略用于神经架构搜索，通过计算可能模块的表现来直接预测网络性能，从而大幅降低了网络性能评估的复杂性。
- 通过自适应策略加速 Vision Transformer 的训练：导航扩展法则
最近几年，深度学习领域的最新发展主要由大规模模型主导，这些模型在大量数据上进行了预训练。本文在视觉任务和 Vision Transformers 家族中，通过引导缩放规律，设计出了计算优化的自适应模型，并证明其胜过静态模型。
- 利用多线性算子对预训练模型进行高效训练的复用
我们提出了一种方法，通过线性关联目标模型的每个权重与预训练模型的所有权重，进一步增强加速能力，从而节省 76％的计算成本，超过 bert2BERT 12.0％和 LiGO 20.7％的性能。
- 大型时间序列和时空数据模型：调查和展望
通过收集相关数据集、模型资产和有用工具，我们提供了面向时间序列和时空数据的大规模模型研究的最新进展，强调其坚实的基础、当前的进展、实际应用、丰富资源和未来的研究机会。
- 具有统计保证的随机降维
研究论文通过研究快速执行和数据利用的算法，探索了大型模型和数据利用的有效维度减少策略，以及提高泛化和分布鲁棒性的数据增强方法。
- LMC：基于交叉评估的大型模型协作的训练免费开放集物体识别
通过合作不同的现有大模型，在无需训练的情况下，提出了一种名为大型模型协作（LMC）的新框架来处理减少对虚假辨别特征依赖的挑战，并有效地从大模型中提取隐式知识。
- NLLB-CLIP – 在预算内训练高性能多语言图像检索模型
通过有限的预算，我们尝试解决多语言图像检索的挑战性任务，展示出使用 NLLB-CLIP 模型的训练结果，该模型在低资源语言上的质量与最先进模型相媲美且明显优于它们。
- Maestro: 通过可训练分解揭示低秩结构
设计高效的低秩模型，通过一种广义的 Ordered Dropout 方法将低秩结构内嵌到训练过程中，实现对深度神经网络进行可训练的低秩层插入，从而提取出足够小的模型，保持模型性能并允许在不同性能设备上进行准确性和延迟的权衡。