EMNLPOct, 2023

开源自我优化模型中的成本与性能权衡探究

PDF
TL;DR我们提出了一种无外部干扰的非定向迭代自我批判和自我完善的方法，以及一种新颖的评分指标，用于在考虑到性能和成本的情况下为给定任务找到最佳模型。我们的实验表明，规模不同的 SoTA 开源模型在性能方面平均提高 8.2%。这对希望在不牺牲性能和隐私的情况下利用 LLMs 的资源有限和信息敏感环境具有重要意义。
proprietary llmsopen-source alternativesperformance, refinement, and inference cost scoresota open source modelsresource-constrained and information-sensitive environments
发现论文，激发创造
  • 工业应用中高效问答的开源语言模型基准测试

    该论文通过对问题回答任务进行综合基准测试研究，旨在识别对实际应用具有可比较性能且资源要求轻的开源替代方案，以解决工业领域对可访问和高效的自然语言处理解决方案的紧迫需求。

    Jun, 2024

  • 规模逐步缩小：以成本效益分析替换 OpenAI GPT-4 与自托管的开源 SLM 在生产中

    本文介绍了一种系统评估方法，用于替代现有专有语言模型应用程序接口（APIs）的现代开源小语言模型，并进行了对比测试，发现其具有竞争力的结果质量，显著的性能一致性改进和降低 5 倍至 29 倍的成本。

    Dec, 2023

  • 开源语言模型的可信度 —— 恶意示范中的评估揭示了它们的脆弱性

    大型语言模型在开源方面取得的快速进展明显推动了人工智能的发展。本文通过对毒性、公平性、对抗性可信度攻击等八个不同方面的细致考察，提出了一种基于言辞链的引导策略，显示出该攻击策略的高效性以及在不同方面的应用。此外，研究还发现，在一般自然语言处理任务中表现较好的模型并不总是具有较高的可信度，而较大的模型实际上更容易受到攻击。还发现经过指示调优的模型更容易受到攻击，尽管对安全线性模型进行修正可以有效减轻对抗性可信度攻击。

    Nov, 2023

  • 评估企业特定 RAG 系统中开源 LLM 的功效：性能和可扩展性的比较研究

    本研究分析了开源大型语言模型（LLMs）及其在来自企业网站的特定数据集上的检索增强生成（RAG）任务中的应用。研究发现，结合有效的嵌入技术，开源 LLMs 可以显著提高 RAG 系统的准确性和效率，为企业提供了与专有解决方案相比的可行选择。

    Jun, 2024

  • 模仿专有 LLM 的虚假承诺

    该研究论文分析了在弱语言模型上进行迁移学习的方法，通过仿效 ChatGPT 这样的专有模型，使用较弱的开源模型来廉价模拟专有模型的功能。论文指出，目前这种方法是不可行的，最好的方法是发展更好的基础模型来提高开源模型的性能。

    May, 2023

  • 评估经济可行性：领域适应大型语言模型与最先进对手在芯片设计编码辅助中总拥有成本的比较分析

    本研究通过比较分析了专用领域适应的大型语言模型（LLM）与最先进的 LLM 之间的总拥有成本和性能，重点关注与芯片设计相关的编码辅助任务。我们评估了一个专用领域适应的 LLM 模型 ChipNeMo 与两个领先的 LLM 模型 Claude 3 Opus 和 ChatGPT-4 Turbo 的 TCO 和性能指标，以评估它们在芯片设计编码生成方面的有效性，旨在为利益相关者提供关键的信息，以选择最经济有效和性能高效的解决方案以满足其特定需求。我们的结果强调了应用专用领域适应模型（如 ChipNeMo）的优势，它们在显著降低成本的同时提高了性能，尤其是我们揭示了专用领域适应 LLM 降低 TCO 约 90%-95% 的潜力，成本优势在部署规模扩大时变得越发显著，使专用领域适应 LLM 成为具有大量 LLM 支持编码需求的组织的有吸引力的选择。

    Apr, 2024

  • 超越基于参考度量的方法：分析数据到文本生成领域的开放式 LLM 行为

    探究了开放式大型语言模型（LLMs）从结构化数据生成连贯和相关文本的程度，通过使用 Quintd-1 数据集，以及基于语义准确性错误的评估方法，发现开放式 LLMs 可以在零样本情况下从各种标准数据格式生成流畅、一致的文本，但语义准确性仍然是一个主要问题。

    Jan, 2024

  • 开源语言模型在医学文本数据摘要中的比较分析

    在医疗笔记和对话中，非结构化文本具有丰富的信息。最近大型语言模型（LLMs）的进展展示了对非结构化文本数据的问题回答和摘要任务的卓越性能，超过了传统的文本分析方法。然而，在文献中缺乏有系统地评估和报告不同 LLMs 性能的科学研究，特别是针对医疗病历等特定领域数据。我们提出了一种评估方法来分析开源 LLMs（如 Llama2 和 Mistral）在医疗摘要任务中的性能，使用 GPT-4 作为评估器。我们创新的 LLMs 定量评估方法可以实现质量控制，支持为特定任务选择有效的 LLMs，并推进数字健康领域的知识发现。

    May, 2024

  • 开源语言模型的反馈能力评估：利用 GPT-4 作为评委帮助学生的能力

    通过使用 GPT-4 对多个开源语言模型的反馈进行评估，本研究探讨了大型语言模型在教育领域中生成反馈的质量，并发现一些模型在性能上可以与专有的语言模型竞争，从而为其在教学环境中的负责任使用提供机会。

    May, 2024

  • 论开源大型语言模型的工具操作能力

    研究了在开源 LLM 中通过一定程度的人工监督和对数据进行生成和调整，将其在工具操作方面提升至与已有的闭源 LLM 相竞争的能力，同时设计了一个工具操纵基准进行了实验，结果表明，在大多数情况下，该方法可使其成功率提高至 90％。

    May, 2023