pre-trained weights | BriefGPT

关键词pre-trained weights

搜索结果 - 8

Hydra：多头低秩适应，参数高效微调
该论文研究了一种名为 Hydra 的适应方法，它基于并行和顺序适应支路学习到了新的和通用的特征，在 fine-tuning 过程中能够探索更广泛的最优点范围。此外，该方法还利用预训练权重经过线性组合来明确 leverages the pre
PDF10 months ago
利用人类关注度提高卡路里估算
本研究旨在研究在从食品图像预测卡路里时将人类显著性融入任务的有效性，并发现使用突出显示最高卡路里区域的注意力图可以提高 32.2％的相对改进，同时通过使用预训练模型在质量估计和食品分类任务上开始最佳模型，未能提高其准确性。但是，我们发现我们
PDFa year ago
ICMLFlexRound: 基于元素除法的可学习取整，用于后训练量化
本研究提出了一种名为 FlexRound 的新的权重取整机制，通过元素除法实现对预训练权重的灵活量化，可以一起学习一个公共的量化网格大小以及每个预训练权重的不同比例。实验结果表明，该机制用于后训练量化可以有效提高模型性能，并且还可以在图像分
PDFa year ago
通过元启发式微调改善预训练权重
使用启发式元算法优化预训练权重可改善机器学习分类任务的结果。
PDF2 years ago
CVPRGAIA：适合您需求的物体检测迁移学习系统
本文提出了一个名为 GAIA 的转移学习系统，可根据异构下游需求自动有效地创建定制的解决方案，包括选择符合下游需求的模型和提供强大的预训练权重，同时还收集与任务相关的数据。GAIA 在多个数据集上的检测结果表明其能够高效地生成覆盖从 16m
PDF3 years ago
ACL上下文嵌入空间外流形正则化用于文本分类
本文提出了一种新的方法来找到和规范称为流形之外的剩余空间，利用两个从实际观察到的单词获得的嵌入，我们合成了流形之外的嵌入，训练鉴别器检测输入的嵌入是否位于流形之内，同时优化生成器。通过在各种文本分类基准上进行全面评估，证明了我们的方法的有效
PDF3 years ago
基于 Transformer 序列到序列模型的自动语音识别纠错
本文介绍了一种用于自动语音识别（ASR）的简单而有效的后处理模型。我们的模型使用基于 Transformer 的编码器 - 解码器架构，将 ASR 模型输出 “翻译” 成语法和语义正确的文本。作者探讨了不同的规范化和优化策略，并表明需要广泛
PDF5 years ago
医疗文本中的少样本命名实体识别
本研究在仅有 10 个注释示例的情况下，通过使用预训练权重、超参数调整、预处理数据、自定义词嵌入和优化词外词汇等 5 个因素改善了命名实体识别任务，并将其 F1 得分从 69.3% 提高到 78.87%。
PDF6 years ago