instruction finetuning | BriefGPT

关键词instruction finetuning

搜索结果 - 7

领域特定性在语言模型和生物医学关系抽取的指导有多重要？
通过现有语言模型、测试四个数据集，我们的研究表明，在生物医学 NLP 任务（关系提取）中，虽然一般领域的模型通常优于生物医学领域的模型，但生物医学数据集上的 fine-tuning 可以与一般数据集 fine-tuning 达到类似的效果，
PDF3 months ago
LLaVA-MoLE：稀疏的 LoRA 专家混合模型用于缓解指令微调 MLLMs 中的数据冲突
在多领域图像 - 文本指导数据上进行指导微调是获取多功能多模态大型语言模型（MLLM）的关键，通过创建一组 MLP 层的 LoRA 专家，通过路由函数将每个令牌路由到最佳专家，以适应来自不同领域的令牌的自适应选择，从而解决了多领域指导数据的
PDF4 months ago
审慎沉默还是愚蠢闲谈？对大型语言模型对未知问题的响应的研究
这项研究系统地调查了大型语言模型在缺乏先验知识以生成有意义回答的情况下常出现的产生杜撰和幻觉的问题，旨在探讨如何教导这些模型主动和可靠地表达不确定性。研究发现，在处理无法回答问题的同时，通过针对训练数据中缺失信息设计的对抗性问答基准测试，经
PDF6 months ago
扩散语言模型：随着规模和指导微调可执行多种任务
扩展极限语言模型、数据和任务规模可有效地使扩散式语言模型成为强大的语言学习者，并且通过指令调优可以实现零射击和小批量上下文学习能力。
PDF9 months ago
通过在线文本数据利用大型语言模型预测心理健康
我们在这项工作中，首次对多种大语言模型（LLMs）进行了全面评估，包括 Alpaca、Alpaca-LoRA 和 GPT-3.5，针对在线文本数据中的各种心理健康预测任务。我们进行了广泛的实验，涵盖了零样本提示、少样本提示和指令微调。研究结
PDF10 months ago
SCITUNE：使用科学多模式指令对齐大型语言模型
本研究提出了 SciTune 框架，通过调整 Large Language Models，与科学学科，概念和目标相符合，提高 LLMs 的理解科学多模态指令的能力，并通过 ScienceQA 基准测试表明，与仅使用机器生成数据调整的模型相比
PDF10 months ago
指令微调语言模型的扩展
本文研究了在指令集合中对语言模型进行微调以改善其性能及推广其应用的方法，重点探讨了任务规模的扩展、模型大小的扩展和链式推理数据的微调，发现通过上述方面的微调显著提高了包括 PaLM、T5、U-PaLM 在内的各种模型类别，在零样本、少样本和
PDF2 years ago