large-scale pre-trained models | BriefGPT

关键词large-scale pre-trained models

搜索结果 - 12

InFiConD：基于概念的知识蒸馏的交互式无代码微调
本研究提出了一种名为 InFiConD 的新框架，通过利用视觉概念实现知识蒸馏过程并实现后续的零代码微调学生模型，从而解决了在计算资源有限的环境中部署大型预训练模型的挑战。研究通过提取来自概念语料库的文本对齐视觉概念来构建高度可解释的线性学
PDF7 days ago
通过提示梯度对齐增强领域自适应
在无监督领域自适应中，通过基于提示学习的方法，使用大规模预训练的视觉 - 语言模型来学习领域不变和领域特定的特征，并将领域无关的约束转化为优化问题，通过梯度对齐和梯度范数惩罚来实现不同领域的一致性，从而在单源和多源无监督领域自适应任务中取得
PDF19 days ago
利用大规模预训练模型进行无需训练的深度伪造语音识别
通过使用大规模预训练模型，将音频深度伪造检测问题转化为说话人验证框架，利用被测声音样本和所声称身份的声音间的不匹配暴露假音频，实现了对广义能力的全面泛化。实验表明，基于预训练模型的检测器在内部数据上与监督方法不相上下，在外部数据上则大幅超越
PDF2 months ago
FL-TAC: 通过低秩、任务特定的适配器聚类增强联邦学习中的微调
通过低秩适配器进行通信开销较小的模型微调以解决大规模预训练模型在联邦学习框架中的高通信成本问题。
PDF2 months ago
AAAIVMT-Adapter: 多任务强化学习的参数高效迁移学习
大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理
PDF7 months ago
利用大规模预训练视觉基础模型进行高效标签的 3D 点云分割
通过采用大规模预训练模型、计算机视觉和 2D 任务，本研究提出了一种新的框架来解决 3D 点云分割任务，通过将 2D 语义分割预测投影到 3D 空间，并引入语义标签融合策略，实现了在扩展的数据集上的 3D 场景理解。
PDF8 months ago
设备上快速适应预训练模型的一次性剪枝
基于大规模预训练模型，提出了一种适用于低能力设备的可伸缩单次剪枝方法，利用类似任务的剪枝知识从预训练模型中提取一个子网络来适应新任务，实验证明该方法在处理具有不同内存限制的多样化下游任务时，在准确性和效率方面始终优于流行的剪枝基准方法。
PDFa year ago
大规模预训练模型在恶劣天气去除中的应用探索
本文提出了一种基于空间特征表示学习和语义信息嵌入的方法，通过 CLIP 等大规模预训练模型来提高图像恢复在各种噪声天气条件下的表现，并且实验结果表明该方法达到了最先进的性能水平。
PDFa year ago
基于基础模型的医学图像分析的挑战和展望
本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准
PDFa year ago
基于预训练模型学习样本难度以实现可靠预测
本文提出了一个方法，即基于样本难度感知熵正则化，利用经过大规模训练的预先训练模型指导下游模型训练，并同时提高了准确性和不确定性校准的可靠预测，克服了现代神经网络的困难，这是一个未被充分探索的领域。
PDFa year ago
FlexMoE: 通过动态设备放置实现大规模稀疏预训练模型训练的扩展
本文提出了一种名为 FlexMoE 的 DNN 训练框架，通过动态专家管理和设备布置机制，以及调度模块来优化大规模预训练模型训练过程中动态数据流所导致的效率问题，实验表明其在自然语言处理模型和视觉模型等领域具有较强的可扩展性和优越的性能。
PDFa year ago
CVPRBlackVIP: 用于稳健转移学习的黑盒视觉提示
本研究提出了基于黑盒视觉提示的少样本学习方法，拥有强大的适应能力和鲁棒性，能够高效地适应并提高预训练模型的性能。
PDFa year ago