BriefGPT.xyz
大模型
Ask
alpha
关键词
knowledge transferring
搜索结果 - 4
HyperMoE: 通过专家之间的迁移改进更好的专家混合
HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架,通过利用未选择的专家生成的特定模块作为补充信息,实现在保持选择稀疏性的同时利用未选择的专家的知识,从而在相同条件下显著
→
PDF
4 months ago
重新审视基于 CLIP 的图像到视频知识传递的时间建模
本论文基于 CLIP 模型,提出了一种名为 STAN 的时空建模机制,用于将图像 - 文本预训练模型扩展到视频领域,并在视频文本检索和视频识别等多项任务中展现了其优越性。
PDF
a year ago
基于 CTC 的 ASR 的上下文感知知识迁移策略
该研究利用一种上下文感知的知识传递策略为基于 CTC 的自动语音识别模型注入语言学信息,提高了其性能表现,通过实验证明了该方法在 AISHELL-1 和 AISHELL-2 数据集上的有效性。
PDF
2 years ago
CVPR
嵌套式协作学习用于长尾视觉识别
本文提出一种名为 Nested Collaborative Learning (NCL) 的方法,采用 Nested Individual Learning (NIL) 和 Nested Balanced Online Distillati
→
PDF
2 years ago
Prev
Next