lightweight models | BriefGPT

关键词lightweight models

搜索结果 - 17

Retro: 用于轻量级模型的自监督学习中的高效嵌入蒸馏的教师投影头的重复利用
使用自监督学习 (SSL) 和对比约束以及一致性约束，从大量无标签数据中提取有效表示，并通过重用教师的投影头来改进轻量级模型，实验证明在所有轻量级模型上取得了显著的改进
PDFa month ago
可扩展流基主动蒸馏的相机聚类
我们提出了一个可扩展的框架，用于设计高效的轻量级视频目标检测模型，利用自训练和知识蒸馏技术。我们研究了从视频流中选择训练图像的理想方法和跨多个摄像头分享模型的效果。通过提倡一种摄像头聚类方法，我们旨在减少训练所需的模型数量，同时增加蒸馏数据
PDF3 months ago
强化轻量级裂纹分割模型性能的鲁棒特征知识蒸馏
该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在
PDF3 months ago
Gemma：基于 Gemini 研究和技术的开放模型
Gemma 是一种轻量级的、最先进的开放模型系列，从用于创建 Gemini 模型的研究和技术中构建而来。Gemma 模型在语言理解、推理和安全性等学术基准测试中表现出强大的性能。我们发布了两个规模的模型（20 亿和 70 亿参数），并提供预
PDF4 months ago
一种用于资源受限人群计数的轻量级特征融合架构
轻量级模型在人群计数中具有可靠的计算效率和性能，并通过比较研究展现其有效性。
PDF6 months ago
LightCLIP：轻量级视觉语言模型的多层交互学习
本文介绍了一种用于训练轻量级 CLIP 模型的多级交互范式，包括改进的全局实例级对齐目标、基于放松二分匹配的令牌级对齐目标以及使用遮蔽语言建模的额外目标。实验结果表明，该方法在多个下游任务中实现了更高的性能。
PDF7 months ago
Mobile-Seed：移动机器人的联合语义分割和边界检测
Mobile-Seed 是一个轻量级的双任务框架，旨在同时改进语义分割性能和准确定位物体边界。通过引入两个编码路径、主动融合解码器和双任务正则化方法，Mobile-Seed 能够动态适应语义和边界信息的融合，并通过正则化损失减轻双任务学习中
PDF7 months ago
MM轻量级点云分析的双向知识重组
轻量级点云模型中，为了解决语义差距问题，提出了双向知识重构来蒸馏教师模型中的上下文信息和全局形状知识，同时使用基于最优运输的特征移动距离损失来解决特征对齐问题，实验结果表明该方法的普适性和优越性。
PDF9 months ago
ICML更快、更轻、更准确：用于内容审核的深度学习集成
基于简化的视觉特征，我们提出了一个高效且轻量级的深度分类集成结构，以解决对高准确率分类具有低误报的暴力内容的需求。通过使用一组轻量级模型进行颜色特征的缩减，并应用于图像和视频，我们评估了该方法并与常用的深度学习模型进行了比较，结果显示了预测
PDF10 months ago
自动提示移动友好的 3D 医学图像分割
介绍了一种用于 3D 多器官 CT 基于分割的新方法，即 AutoSAM Adapter，通过自动提示学习范式来促进 Segment Anything Model（SAM）模型能力向 3D 医学图像分割的转变，从而消除了手动生成提示的需求，
PDF10 months ago
SynthDistill：合成数据知识蒸馏下的人脸识别
通过使用综合数据，我们提出了一个新的框架（称为 SynthDistill），通过提取预训练教师人脸识别模型的知识，来训练轻量级人脸识别模型，从而解决了轻量级模型训练的困难。我们使用综合数据来生成人脸图像，并且使用生成的图像来训练轻量级学生网
PDF10 months ago
ACLLEALLA: 通过知识蒸馏学习轻量级、语言无关的句子嵌入
本研究使用轻量级模型系统地探索学习通用句子嵌入的方法，证明了一种深薄编码器可以构建 109 种语言的强韧低维句子嵌入，并通过引入知识蒸馏方法进一步提高模型性能。实验证明，如此轻量级模型在 Tatoeba，联合国和 BUCC 上展现了出色的效
PDFa year ago
ALBETO 和 DistilBETO：轻量级西班牙语言模型
在本文中，我们针对西班牙语语料库训练了两种语言模型 ALBETO 和 DistilBETO，这些模型参数轻量级，且相较于其他模型在西班牙语自然语言解析任务上取得了竞争性的结果。
PDF2 years ago
基于 PCA 的知识蒸馏：实现轻量化、内容和风格均衡的逼真风格转换模型
通过使用 PCA-based 知识蒸馏方法实现轻量级模型，实现了相较于当前模型 5-20 倍更快且参数更少的风格迁移方法，并保证了良好的内容保留和风格化特征的平衡。
PDF2 years ago
AAAI利用关系知识蒸馏提升对比学习
通过引入异构的 teacher 和 relation-wise 对比学习，我们成功地解决了在轻量级模型中进行 instance-wise 对比时在语义空间中容易崩溃的问题，并通过 AlexNet 线性评估验证了该方法的有效性，达到了接近于有
PDF3 years ago
FLiText: 一种使用卷积神经网络的更快、更轻量化的半监督文本分类方法
本文提出了一种名为 FLiText 的新型半监督学习框架，可在轻量级模型上实现自然语言处理中的文本分类任务 SOTA（state-of-the-art）性能，相较于已有研究，FLiText 在 IMDb、Yelp-5 和 Yahoo 数据集
PDF3 years ago
ECCVDisCo: 用蒸馏对比学习订正轻量模型的自监督学习
本文提出了一种名为 Distilled Contrastive Learning (DisCo) 的方法，通过将主流自监督学习方法中蕴含的最有价值的信息提取出来，然后通过约束学生模型的最终嵌入与教师模型的嵌入保持一致，从而大幅缓解模型规模减
PDF3 years ago