smaller language models | BriefGPT

关键词smaller language models

搜索结果 - 6

超越模仿：从推理涤纶中学习关键推理步骤的双重思维链
使用基于错误的驱动关键推理步骤蒸馏（EDIT）方法，可以更有效地帮助小型语言模型学习重要的推理步骤，而不仅仅是简单的微调，验证了其在基准推理数据集上的有效性。
PDFa month ago
自我完善指导调优用于对齐语言模型中的推理
我们提出了自我改进指导调整方法，通过引导较小语言模型进行自我改进，以实现对推理能力的进一步发展。此方法通过在大型语言模型提供示范的基础上，将推理能力从较大语言模型传输到较小语言模型，然后使用优化策略使得被指导的模型自我改进能力。在常识与数学
PDF2 months ago
大型和小型语言模型的相互增强与跨系统知识转移
提出了一种利用小规模语言模型与大规模语言模型相互提升的方法，通过小规模语言模型生成特定任务的高质量数据，从而显著提高客户端的小规模语言模型和云服务器的大规模语言模型的特定任务性能，同时保持大规模语言模型的泛化能力。
PDF7 months ago
Ensemble-Instruct: 使用异构的语言模型生成指导调整数据
使用上下文学习 (ICL) 来进行数据生成，结合自我指导和山羊驼等技术可以只通过少量人工监督即可训练出强大的对话代理。本论文研究探索了将这些技术应用于更小（大约 10B-40B 参数）且具有宽松许可的语言模型，并提出了新的 ICL 方法来提
PDF8 months ago
EMNLPDialCoT 满足 PPO：在较小的语言模型中进行推理路径的分解与探索
通过对话引导的思维链技术（DialCoT）在小型语言模型中有效提升推理能力，采用 PPO 算法优化模型的推理路径选择，实验结果显示与其他竞争方法相比显著提升性能。
PDF9 months ago
ICLR零样本通识推理的提示工程和校准
在小型语言模型上研究及评估大型语言模型的理解任务，包括多项选择常识推理，结果显示各种策略对不同的模型有利，但联合效果大多为负。
PDFa year ago