model initialization | BriefGPT

关键词model initialization

搜索结果 - 9

特权学生：关于多语言知识蒸馏中初始化价值的研究
我们调查了知识蒸馏在多语言环境中的价值和模型初始化方法，发现通过将教师模型的权重直接复制到学生模型来增强初始化对于各种多语言环境中的模型初始化最为重要，并证明了高效的权重初始化在低资源场景下仍能保留多语言能力。
PDF10 days ago
通过离散语音单元预训练的紧凑语音翻译模型
使用自监督学习作为模型初始化在语音翻译中取得较好结果已经很常见，但也对设备上的部署造成了大量的内存开销。本文通过在离散语音单元上对自监督学习模型进行预训练，从而在有限的语音翻译数据上微调初始化的新模型，并利用离散语音单元预训练来凝结自监督学
PDF4 months ago
基础模型将聚类作为主动学习的更好初始化
本研究提出了将基础模型与聚类方法相结合，用于选择主动学习初始化样本，实验证明这种方法可以有效地定位信息丰富的初始样本，从而提高模型性能。
PDF5 months ago
确保高效联邦学习的模型初始化技术综合研究
机器学习中的隐私问题对于保护用户数据至关重要，联邦学习已成为一种有前景的方法，能够在分布式且保护隐私的方式下合作训练全局模型，而模型初始化是其学习过程中的关键部分，本研究深入探讨了联邦学习中各种模型初始化技术的优缺点并提出了创新性的解决方案
PDF8 months ago
MAE 预先预训练对亿级预训练的有效性
该论文重新审视了在视觉识别任务中使用的标准预训练 - 微调范式，通过使用自监督 MAE 技术实现额外的预先训练阶段来初始化模型。该方法不仅可以扩展模型大小，还可以扩展训练数据集的规模，从而提高了基础模型的训练效率以及各种视觉识别任务的性能并
PDFa year ago
关于幼儿语音识别任务增强的优化元初始化
本文介绍了一种用于解决儿童自动语音识别中数据稀缺问题所采用的基于元学习的模型初始化方法，首先验证了其有效性，然后通过模拟新年龄来提出了任务级别的增强方法，成功改善了学习器过拟合的问题，并达到了相对词错误率 (WER) 的提升率高达 51%
PDF2 years ago
深度学习训练不稳定性的损失曲率视角
本论文探究了损失海森矩阵在多项分类任务中的演化，以了解损失曲率对训练动态的影响。结果表明，成功的模型和超参数选择能够使早期的优化轨迹避免或穿越高曲率区域并进入扁平区域，提高学习率稳定性，类似于各种训练不稳定性缓解策略最终解决神经网络优化的相
PDF3 years ago
ECCV二元图相似性：一种通用框架，用于任务转移学习中的初始化选择
本文介绍了一种基于双重图相似度 (DDS) 的高效、准确的方法，可以在给定几个预训练模型时选择模型初始化，从而在新任务上实现高性能转移学习。我们在 Taskonomy 数据集上验证了我们的方法，并在 Pascal VOC 语义分割任务上展示
PDF4 years ago
ICCV深度神经网络在年龄和性别分类中的理解和比较
本研究使用四种不同的神经网络模型，并研究了不同的人脸对齐方法对模型的影响。研究证明，适当的参数初始化和简单的预处理步骤可以提高性别识别的表现。
PDF7 years ago