- 大和小语言模型协同解码的经验研究
利用 Fast and Slow Generating（FS-GEN）统一框架，研究了大型语言模型（LLMs）与小型语言模型（SLMs）之间的协同解码，包括投机解码、对比解码和仿真或代理微调等技术，并通过 FS-GEN 解析了 LLMs 和 - 小型语言模型中的本地 AI 是否易损且可利用？评估其信任和道德性
我们的研究首次探索了基于设备的人工智能（AI）中的信任和道德问题，着重于适用于智能手机等个人设备的 “小型” 语言模型（SLMs）；结果显示，相比于基于云的服务，基于设备的 SLMs 明显更不可信，且存在严重漏洞和潜在的道德问题。
- 迷惘于迷惘：基于困惑度的小参考模型数据修剪
通过研究发现，对大规模文本数据集进行小型语言模型基于困惑度的修剪，可以显著提高后续任务的性能，并且能够在过度训练和数据受限制的情况下获得下游性能增益。
- 应用交互的小型语言模型：案例研究
我们研究了小型语言模型在通过自然语言交互促进应用程序使用方面的有效性。我们的重点是微软内部用于云供应链履行的特定应用程序。我们的实验表明，即使在小型数据集上进行微调，小模型在准确性和运行时间方面也能胜过大型模型。除了这些结果，我们还强调基于 - 大型语言模型上基于联邦领域专用知识迁移的合成数据使用
通过差分隐私，利用大型语言模型在私有领域数据上合成样本，并将其用于改进小型语言模型，通过联邦领域特定知识迁移框架 (FDKT) 在保护客户数据隐私的同时，提高小型语言模型的任务性能，实验结果表明与本地私有数据训练相比，在隐私预算小于 10 - MiniCPM: 小型语言模型的潜力与可伸缩的训练策略揭示
通过开展大量模型和数据维度的可扩展研究，我们引入了 MiniCPM，这是一种高效资源的替代模型，旨在探索小型语言模型在未来大型语言模型研究中的潜力，并通过模型收敛和数据适应来优化比例关系。
- 朝着帕累托最优吞吐量的小语言模型服务
通过实验和分析，本文旨在对小型语言模型的推理性能和能量效率进行基准测试，并得出结论说明模型复制可以有效提高服务小型语言模型时的资源利用率。
- RAD-PHI2：影像学中的 PHI-2 指令调优
本研究探讨了小型语言模型在医学领域的应用，特别是与放射学文本相关的问题回答、症状理解、放射学结果的表现、鉴别诊断、评估预后和建议治疗等疾病方面。通过对高质量的放射志教育内容进行微调，我们的实验结果表明，小型语言模型在放射学工作流程中具备可行 - 电信语言模型：是否必须大规模？
该论文评估了 Phi-2 模型在电信领域的的内在理解能力，并通过检索增强生成方法，将电信标准规范知识库与其整合，提高了其在准确度方面的性能。Phi-2 模型在回答与电信标准相关的问题上表现出与资源密集型 GPT-3.5 相当的准确度，同时探 - 小而有趣：基于反馈的幽默提炼方法
大语言模型通过模仿教师反馈进行提炼来传递知识，但在需要复杂的语言理解和创造力的任务上存在性能差距。本研究通过给大语言模型分配双重角色，作为生成数据的 “教师” 和评估学生表现的 “评论家”，研究了与教师的补充指导相关的影响。实验结果表明，将 - MobiLlama：面向准确轻量级全透明的 GPT
通过引入准确而高效的开源 0.5 亿参数的小语言模型 MobiLlama，本文探讨了在资源受限设备上设计准确但高效的小语言模型的挑战，并关注性能提升和资源需求降低，以满足隐私、安全和可持续性部署的需求。
- Self-AMPLIFY: 提高小型语言模型性能的自解释方法
自动化方法 Self-AMPLIFY 将事后解释方法应用于小型语言模型，生成有理性解释并改善其性能。
- 鲸鱼数学：释放初高中数学中 SML 的潜力
Orca-Math 是一个基于 Mistral-7B 的 70 亿参数 SLM，它能够在 GSM8k 上达到 86.81% 的准确率，无需多次调用模型或使用验证器、代码执行或其他外部工具。
- OrchestraLLM: 较高效的对话状态跟踪语言模型编排
通过创建示例池来代表每种语言模型较可靠回答的上下文类型，并利用经过微调的句子嵌入使上下文相似性接近对话状态相似性，本研究提出了一种新颖的 SLM/LLM 路由框架，旨在提高计算效率并增强任务性能，在对话状态跟踪任务中，相较于仅依赖 LLMs - 探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类
在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微 - 不良演员，良好顾问：大型语言模型在假新闻检测中的作用探究
基于大型语言模型的虚假新闻检测研究发现，大型语言模型虽然能提供多元的合理解释，却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此，当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用，但可以作为小型语言模型的顾问 - Mini-Giants: 小型语言模型和开源的双赢
本文介绍了小型语言模型在技术、伦理和社会方面的优势，通过比较研究和评估方法展示了小型语言模型的应用场景，并探讨了 Kaggle 等开源社区在小型语言模型发展中的作用。
- PlaSma: 将小型语言模型转化为更好的规程知识模型，用于（反事实的）规划
本文提出了 PlaSma，一种利用小型语言模型赋予程序化知识和（反事实的）规划能力的新方法，并介绍了计划的符号化程序知识蒸馏和推理时间算法以及一个新的任务，即对计划进行修订以应对反事实情况的 “反事实规划”，并展示了在原始和反事实情况下，规 - 隐私保护上下文引导增强小型医学学习者
本文提出了一种简单而有效的方法，通过从医疗数据中提取关键词并模拟临床医生的思维过程，从而缓解患者隐私问题，增强小型语言模型在医学任务中的决策能力，最终在受隐私限制的情境下取得了新的结果，并在两个医学任务中达到了新的最高水平
- 通过生成性数据增强提高特定领域问答小语言模型的效果：Dr. LLaMA
介绍了 Dr. LLaMA，这是一种通过使用大型语言模型进行生成式数据增强来改善小型语言模型的方法，主要关注医学问答任务和 PubMedQA 数据集。研究表明，LLMs 可以有效地改善和多样化问题 - 答案对，从而在微调后使得规模更小的模型