May, 2024

应用交互的小型语言模型：案例研究

PDF
TL;DR我们研究了小型语言模型在通过自然语言交互促进应用程序使用方面的有效性。我们的重点是微软内部用于云供应链履行的特定应用程序。我们的实验表明，即使在小型数据集上进行微调，小模型在准确性和运行时间方面也能胜过大型模型。除了这些结果，我们还强调基于 SLM 的系统设计考虑。
发现论文，激发创造
  • 朝着帕累托最优吞吐量的小语言模型服务

    通过实验和分析，本文旨在对小型语言模型的推理性能和能量效率进行基准测试，并得出结论说明模型复制可以有效提高服务小型语言模型时的资源利用率。

    Apr, 2024

  • 大型语言模型的经济性权衡：一个案例研究

    使用大型语言模型（LLMs）辅助人类客服代理商自动生成现成或有改动的响应已成为许多公司降低雇用客服代理商成本的方式。本文通过使用成本框架评估一个 NLP 模型的实用性，将其应用于特定品牌的案例研究并比较三种 LLM 的专业化策略，发现模型的响应可用性可以补偿推理成本的巨大差异，并将研究结果推广到更广泛的企业领域。

    Jun, 2023

  • OrchestraLLM: 较高效的对话状态跟踪语言模型编排

    通过创建示例池来代表每种语言模型较可靠回答的上下文类型，并利用经过微调的句子嵌入使上下文相似性接近对话状态相似性，本研究提出了一种新颖的 SLM/LLM 路由框架，旨在提高计算效率并增强任务性能，在对话状态跟踪任务中，相较于仅依赖 LLMs，所提出的路由框架显著提高性能，同时减少计算成本超过 50%。

    Nov, 2023

  • 大型语言模型在扩展口语理解系统到新语言方面的应用

    介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

    Apr, 2024

  • 超小型语言模型

    通过引入一系列研究工作，本文介绍了超小型语言模型 (STLMs) 的创新技术和高性能表现，包括字节级的分词和汇聚机制、参数联系以及高效的训练策略，以实现与传统模型相比参数数量减少了 90% 至 95% 的竞争性表现，未来的研究将探索包括无分词模型、基于自我博弈的训练以及替代训练目标等多个子问题，旨在使高性能语言模型在更广泛的应用领域中更具可访问性和实用性。

    May, 2024

  • 小型语言模型能否学习、遗忘并保留噪声模式？

    该研究调查了小语言模型在学习、保留和消除通常不存在于互联网上的噪声方面的能力，并评估了四个小语言模型的表现在不同训练水平下，发现 Olmo 在任务上表现始终良好，即使它是参数最少的模型。

    Jul, 2024

  • 小型语言模型也很不错：一项零样本分类的实证研究

    该研究评估了使用不同参数和结构的小型语言模型在零射击文本分类中的性能，并发现小型模型在分类文本方面表现出色，与或超过了更大的模型，这一发现强调了资源高效的小型模型可能为特定的数据分类挑战提供可行的解决方案。

    Apr, 2024

  • 大型语言模型在语言学习中的口语智能

    评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

    Aug, 2023

  • 有监督的知识提升大语言模型在上下文学习中的表现

    通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

    Dec, 2023

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023