关键词large pre-trained models
搜索结果 - 9
- 越简单越好：基于熵的重要度度量方法降低神经网络深度
提出了一种高效策略，利用大型模型传递的先前知识来减少超参数化深度神经网络的深度，从而减轻其计算负担，并在传统的图像分类设置上评估了方法的有效性。
- 大型预训练模型的人工智能协同研究调查
人工智能在快速发展，人工智能系统与人类智能的协作，即人工智能协作 (HAI) 团队合作，已成为推动问题解决和决策过程进展的基石。本文调查了大型预训练模型与 HAI 的重要整合，并强调这些模型如何在协作智能方面超越传统方法。研究探讨了 LPt - 零样本检索：用搜索引擎增强预训练模型
使用 NLP 和多模式学习，该论文介绍了如何通过搜索引擎检索来增强预训练模型，从而在测试时从互联网中检索到有用的数据，并更新模型以解决模型的不确定性，取得了零样本性能的显著改进。
- 用于跨领域时间序列分析任务的大型预训练时间序列模型
将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高， - 参数高效的多任务模型融合与部分线性化
提出了一种部分线性化技术，用于改善多任务融合，并通过融合精调的任务向量来构建统一的多任务模型，取得了比标准参数高效微调技术更好的性能。
- 基于视觉解释的自我改进分类系统：使用虚拟对抗训练
通过将虚拟对抗训练（VAT）与 BERT 模型结合，提出了一种基于视觉解释的自我改进的分类模型，用于解决使用 BERT 构建的分类系统存在的解释困难和鲁棒性低的问题。实验结果表明该模型在 Twitter 的推文数据集上对分类任务具有显著有效 - 去枝遇见低秩参数高效微调
本文提出了一个名为 LoRAPrune 的统一框架，旨在实现高性能的大规模预训练模型的高效微调和部署，其中使用了 PEFT 感知的剪枝标准和基于 Low-Rank Adaption（LoRA）的梯度值和梯度的重要性估计，通过迭代剪枝过程以最 - 基础模型偏置项差分隐私微调
提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了 DP 算法的最高精度及标准微调的效率，其速度和内存使用量是 DP full fine-tuning 的 2- - 封神榜 1.0：成为中国认知智能的基石
介绍了一个名为丰神帮 (Fengshenbang) 的开源项目，旨在推动中国语言社区的发展，提供包括大型预训练模型、易用的 API、基准、数据集等综合能力，并建立用户中心的开源生态系统，使个人可以根据其计算资源访问所需的模型。我们希望这个项