Herd：通过智能组合器使用多个较小的 LLM 来匹配专有的大型 LLM 的性能

Oct, 2023

Herd：通过智能组合器使用多个较小的 LLM 来匹配专有的大型 LLM 的性能

Herd: Using multiple, smaller LLMs to match the performances of proprietary, large LLMs via an intelligent composer

Surya Narayanan Hari, Matt Thomson

TL;DR通过一个智能路由器，我们展示了一群开源模型能够匹配或超过专有模型的性能，以解决自然语言处理的准确性问题。我们展示了虽然由较小的模型组成，但开源模型群能与 ChatGPT 的准确性相当，并且在 GPT 无法回答查询时，至少有 40% 的时间开源模型群能够识别可以回答的模型。

Abstract

Currently, over a thousand llms exist that are multi-purpose and are capable of performing real world tasks, including Q&A, text summarization, content generation, etc. However, accessibility, scale and reliability of free models prevents them from being widely deployed in everyday use

llms model repositories model weights model cards herds of open source models

发现论文，激发创造

开源大型语言模型在文本注释任务中胜过众包工作者并接近 ChatGPT

研究比较了开源的大型语言模型（LLMs），ChatGPT 和人工服务（如 MTurk）在文本标注任务中的表现。发现开源 LLMs 在高效性，透明性，可再现性和数据保护方面具有竞争力，虽然 ChatGPT 在大多数任务中表现最好，但开源 LLMs 在特定任务中也有较高的竞争潜力。

Jul, 2023

ML-Bench：大型语言模型基于开源库进行机器学习任务

通过使用开源库完成机器学习任务，本文旨在提出一种新的评估设置，以评估大型语言模型（LLMs）在实际编程中的适用性，并介绍了 ML-Bench 和 ML-Agent 两个工具，用于评估 LLMs 在利用开源函数时的有效性。

Nov, 2023

模仿专有 LLM 的虚假承诺

该研究论文分析了在弱语言模型上进行迁移学习的方法，通过仿效 ChatGPT 这样的专有模型，使用较弱的开源模型来廉价模拟专有模型的功能。论文指出，目前这种方法是不可行的，最好的方法是发展更好的基础模型来提高开源模型的性能。

May, 2023

开源自我优化模型中的成本与性能权衡探究

我们提出了一种无外部干扰的非定向迭代自我批判和自我完善的方法，以及一种新颖的评分指标，用于在考虑到性能和成本的情况下为给定任务找到最佳模型。我们的实验表明，规模不同的 SoTA 开源模型在性能方面平均提高 8.2%。这对希望在不牺牲性能和隐私的情况下利用 LLMs 的资源有限和信息敏感环境具有重要意义。

Oct, 2023

Leeroo Orchestrator：通过模型集成提升 LLMs 性能

我们提出了一种架构，利用多个经过训练的 LLMs 的集体知识创建了一个新的最先进模型。核心是一个基于 LLM 的编排器，能够选择最佳的底层 LLM 专家进行任务执行。通过自我对弈的灵感，我们创建了一个查询生成、编排和评估的循环，以生成编排器的训练数据。通过在 MMLU 基准测试上评估，采用了在 Hugging Face 上提供的 7B、13B 和 34B 参数的模型。结果表明，我们的 Leeroo 编排器实现了与 Mixtral 模型相媲美的性能，但只有三分之二的成本。此外，提高允许的成本可以超过 Mixtral 的准确率 5% 以上，达到 75.9% 的准确率水平。将 GPT4 集成到底层模型池中进一步提高了性能。Leeroo 编排器以一半的成本几乎与 GPT4 的性能相当，甚至在降低 25% 成本的情况下超过了 GPT4 的结果。这些发现说明了我们的架构在优化多个 LLMs 之间的协同作用，从而实现卓越性能成果方面的潜力。

Jan, 2024

将大型语言模型凝聚用于将患者匹配到临床试验

探究专有和开源大型语言模型在患者试验匹配任务中的有效性，并证明在有限和合成数据集上进行微调后，开源模型与专有模型性能相当，从而为它们在实际医疗应用中的部署提供了巨大机会。

Dec, 2023

基于基准数据集的大型语言模型路由

通过重新利用基准数据集来学习 “路由器” 模型，我们解决了在一系列模型中为新任务选择最佳的大型语言模型的挑战，并展示了学习模型路由器在不同基准数据集上的效用和局限性，从而在所有任务中持续提高性能。

Sep, 2023

评估大型语言模型用于公共卫生分类和提取任务

基于对 LLMs 在公共卫生任务中的自动评估，将六个外部注释数据集与七个新的内部注释数据集相结合，评估 LLMs 在处理与健康负担、流行病学危险因素和公共卫生干预相关的文本中的性能，发现 Llama-3-70B-Instruct 是性能最好的模型，在 15 个任务中取得最佳结果。这些初步结果表明，LLMs 可能成为公共卫生专家从各种免费文本来源中提取信息，并支持公共卫生监测、研究和干预的有用工具。

May, 2024

工业应用中高效问答的开源语言模型基准测试

该论文通过对问题回答任务进行综合基准测试研究，旨在识别对实际应用具有可比较性能且资源要求轻的开源替代方案，以解决工业领域对可访问和高效的自然语言处理解决方案的紧迫需求。

Jun, 2024

利用大型语言模型构建实际的现实会议摘要系统：实用视角

本研究通过评估和比较各种闭源和开源大型语言模型，探讨如何有效构建用于实际应用的会议摘要系统。研究结果表明，大多数闭源模型在性能方面更好，但即使在零 - shot 情况下，较小的开源模型如 LLaMA-2（7B 和 13B）仍可达到与大型闭源模型相当的性能。综合考虑闭源模型的隐私问题和使用经过微调的闭源模型的高成本，能够取得竞争性性能的开源模型更适合工业应用。在性能、成本和隐私问题之间取得平衡，LLaMA-2-7B 模型在工业应用中更具前景。总之，本文提供了使用大型语言模型进行实际业务会议摘要的实用见解，突显性能和成本之间的权衡。

Oct, 2023