fine-tuning models | BriefGPT

关键词fine-tuning models

搜索结果 - 8

进一步推进：利用伪标签在标签稀缺的小农地区进行领域划分
使用稀缺土地勾画伪标签进行精调模型在大范围应用中具有很好的性能，并且在缺乏标注数据的情况下，伪标签的使用可以显著提高模型的性能，尤其是在 Sub-Saharan Africa 等标注数据匮乏的地区。
PDF7 months ago
增强 LLM 智能：借助 ARM-RAG 进行辅助理由记忆以提高检索增强生成
本文介绍了通过使用 Retrieval Augmented Generation（RAG）来改善问题求解性能的 ARM-RAG（Auxiliary Rationale Memory for Retrieval Augmented Gener
PDF8 months ago
加密图像下高效微调视觉转换模型的领域适应
我们提出了一种使用视觉变换器 (ViT) 对转换图像进行模型微调的新方法，该转换图像域自适应方法不会导致模型准确度下降，基于 ViT 的嵌入结构进行实施，实验证实了该方法在使用 CIFAR-10 和 CIFAR-100 数据集的加密图像时仍
PDF10 months ago
走向科学机器学习的基础模型：特征缩放与转移行为表征
研究表明，预训练模型可以应用于科学机器学习任务中的迁移学习，可在细调适当的预训练模型下，以比从头开始训练少得多的下游示例实现期望的准确度水平。模型的规模越大，用 fine-tuning 方法会获得更好的性能提升，这为 SciML 问题的建模
PDFa year ago
CPL-NoViD: 在线社区违规检测的基于上下文提示的学习
本研究提出了一种使用基于提示的学习，用于检测在线社区中的规范违规行为。CPL-NoViD 通过自然语言提示将上下文融合到模型中，展示了对于不同类型的规则具有改进的性能，它不仅在跨规则类型和跨社区规范违反检测方面表现出色，而且在少样本学习场景
PDFa year ago
ChatDoctor：一个使用医疗领域知识对 LLaMA 模型进行微调的医疗聊天模型
本论文提出了将现有的语言模型细调为医疗领域的医生 - 患者对话模型，以更好地理解患者需求、为医疗领域提供有价值的帮助，并将进一步开源相关数据、代码和模型来推进医疗领域的对话模型的发展。
PDFa year ago
基于 Transformer 的生物医学语言模型的领域内适应性本地化
本文旨在探究两种途径从英语语料库中翻译生成的语言格式数据和本地化的语料库数据来建立生物医学语言模型，以应用在医疗领域中以提高患者护理和管理（本研究以意大利为例）。通过实验发现，在相对较小的语料库情况下，高质量数据的合并可以提高模型性能，但数
PDF2 years ago
基于多任务知识蒸馏的模型压缩在 Web 规模问答系统中的应用
我们提出了一种多任务知识蒸馏模型，通过从多个教师模型中提取知识，向轻量级学生模型进行蒸馏，从而解决了将复杂模型应用于实际业务场景的问题，同时加速了模型推理并取得了比基线方法更好的结果以及与原始教师模型相当的结果。
PDF5 years ago