domain-specific llms | BriefGPT

关键词domain-specific llms

搜索结果 - 7

电信规格的技术语言处理
大型语言模型（LLMs）在不同领域的应用越来越广泛。然而，目前即使是最先进的 LLMs，如 GPT-4，在没有大量预处理的情况下，从真实世界的技术文档中提取信息仍然存在挑战。本文讨论了处理电信行业专家生成的技术信息时，现有自然语言处理（NL
PDFa month ago
COLING混合 LoRA：大型语言模型的高效多任务调优
使用 Mixture-of-LoRAs (MoA) 架构的多任务学习方法，通过培训多个领域特定的 LoRA 模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应
PDF4 months ago
MediSwift：高效稀疏预训练生物医学语言模型
通过对领域特定的生物医学文本数据进行稀疏预训练，结合密集微调和软提示，MediSwift 模型在生物医学任务上超过了现有的具有数十亿参数的 LLMs，为专门领域的高性能、计算高效模型树立了新的标杆。
PDF4 months ago
领域特定的 LLMs 的微调和利用方法
本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注 LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域 LLM 微调的关键考虑因素。通过实例展示
PDF6 months ago
Mini-GPTs: 基于上下文剪枝的高效大型语言模型
利用上下文剪枝技术开发 Mini-GPT 来优化大型语言模型（LLMs），通过对传统 LLMs 的计算架构进行剪枝，保留核心功能同时大幅减小模型大小，此方法在多样且复杂的数据集上展现了高效性和有效性，作为构建领域特定 LLMs 的潜力方法，
PDF6 months ago
构建领域特定的大型语言模型的高效连续预训练
本研究探讨了持续预训练作为开发面向特定领域的大型语言模型的一种替代策略，引入了通过领域自适应持续预训练在金融领域上开发的 FinPythia-6.9B，FinPythia 通过金融任务中持续预训练实现了稳定的改进，并进一步探索了简单而有效的
PDF8 months ago
范围就是一切：将 LLMs 转化为 HPC 代码
通过使用领域特定的语言模型和专门设计的代码预处理工具 (Tokompiler)，本研究提出了一种提高高性能计算 (HPC) 和编译相关任务中代码完成准确性和语义理解的方法，为领域特定的语言模型开辟了发展新途径。
PDFa year ago