lora modules | BriefGPT - AI 论文速递

关键词lora modules

搜索结果 - 4

NumLLM：针对中国金融领域的数值敏感大型语言模型
我们提出了一种新颖的大型语言模型（NumLLM），用于改进金融领域的理解能力，该模型通过在构建的金融语料库上进行微调以适应数字变量，并在金融问答基准上取得了最佳性能表现。
PDF2 months ago
COLING混合 LoRA：大型语言模型的高效多任务调优
使用 Mixture-of-LoRAs (MoA) 架构的多任务学习方法，通过培训多个领域特定的 LoRA 模块，采用明确的路由策略和领域标签来防止任务之间的干扰，并最终提高每个个体任务的性能，进而促进领域特定大语言模型（LLMs）的广泛应
PDF4 months ago
结合高效参数模块提高少样本迁移准确性的效果吗？
在此研究中，我们探讨了 LoRA 模块的组合性，研究了使用均匀组合和学习组合两种方法，发现它们在少样本场景中能够提高转移准确性，且在完整数据集场景中，学习组合与正常训练相比具有更少的可训练参数。
PDF4 months ago
WWW用于少样本恶意表情包检测的模块化网络
本文主要研究在低资源情况下，检测仇恨恶搞表情包的方法。通过利用 LoRA 模块和大型语言模型，本研究提出一种模块化网络来增强在少样本学习情境下的仇恨恶搞表情包检测性能和泛化能力。
PDF4 months ago