Apr, 2024

评估经济可行性：领域适应大型语言模型与最先进对手在芯片设计编码辅助中总拥有成本的比较分析

PDF
TL;DR本研究通过比较分析了专用领域适应的大型语言模型（LLM）与最先进的 LLM 之间的总拥有成本和性能，重点关注与芯片设计相关的编码辅助任务。我们评估了一个专用领域适应的 LLM 模型 ChipNeMo 与两个领先的 LLM 模型 Claude 3 Opus 和 ChatGPT-4 Turbo 的 TCO 和性能指标，以评估它们在芯片设计编码生成方面的有效性，旨在为利益相关者提供关键的信息，以选择最经济有效和性能高效的解决方案以满足其特定需求。我们的结果强调了应用专用领域适应模型（如 ChipNeMo）的优势，它们在显著降低成本的同时提高了性能，尤其是我们揭示了专用领域适应 LLM 降低 TCO 约 90%-95% 的潜力，成本优势在部署规模扩大时变得越发显著，使专用领域适应 LLM 成为具有大量 LLM 支持编码需求的组织的有吸引力的选择。
total cost of ownershipperformancedomain-adapted large language modelschip design codingeconomically viable solutions
发现论文，激发创造
  • ChipNeMo：面向芯片设计的领域自适应 LLMs

    ChipNeMo 通过领域自适应技术在工业芯片设计中探索了大型语言模型的应用。我们评估了这些方法在芯片设计的三个 LLM 应用上的性能，并展示了这些领域自适应技术能够显著提升 LLM 的性能，并实现模型大小减少 5 倍但在一系列设计任务上具有相似或更好的性能。我们的研究结果表明，还有进一步改进的空间，我们相信对领域自适应 LLM 方法的进一步研究将有助于填补这一差距。

    Oct, 2023

  • 开源自我优化模型中的成本与性能权衡探究

    我们提出了一种无外部干扰的非定向迭代自我批判和自我完善的方法，以及一种新颖的评分指标，用于在考虑到性能和成本的情况下为给定任务找到最佳模型。我们的实验表明，规模不同的 SoTA 开源模型在性能方面平均提高 8.2%。这对希望在不牺牲性能和隐私的情况下利用 LLMs 的资源有限和信息敏感环境具有重要意义。

    Oct, 2023

  • 蝇拍还是大炮？通过元建模选择具有性价比的语言模型

    基于句子中给定的输入和候选语言模型，CELMOC 框架致力于以低成本实现高整体性能，最大程度地节省经费并匹配最大可用的语言模型的性能。

    Aug, 2023

  • 法律领域中常见文本分类方法的基于能量的比较分析

    该论文通过详细的定量比较大型语言模型和传统方法在性能、时间、能耗和成本等方面的表现，发现简单算法往往能够在性能接近的情况下以较低的能耗和资源需求获得结果，从而建议企业在选择机器学习方案时进行额外评估。

    Nov, 2023

  • LLaMoCo：大型语言模型的指令调优用于代码生成

    使用 LLM（大型语言模型）进行优化的最新研究使用迭代地从 LLM 中寻找下一步解决方案或直接提示 LLM 进行优化。然而，这些方法存在固有的局限性，包括低操作效率、对提示设计的高敏感性和缺乏领域特定知识。我们介绍了 LLaMoCo，这是一种第一个被设计为在代码级别上调整 LLM 以解决优化问题的指令调整框架。具体地，我们建立了一个包含明确定义的问题提示和有效优化代码的全面指令集。然后，我们开发了一种新颖的两阶段学习策略，在指令调整阶段之前，通过对比学习为模型的微调过程提供了一个热身过程，以增强其收敛行为。实验证明，通过我们的 LLaMoCo 进行精细调整的 CodeGen（350M）模型在合成和真实问题集上都实现了优于 GPT-4 Turbo 和其他竞争对手的优化性能。精细调整的模型和使用说明可在此 URL 中获得。

    Mar, 2024

  • 偶尔安全性：代码生成助理的比较分析

    大型语言模型 (Large Language Models，LLMs) 被广泛应用于各种应用中，代码生成作为一个显著例子。本文聚焦于确定和理解在真实场景中，LLMs 可有效且安全地用于生成高质量代码的条件和环境。通过对四个先进的 LLMs (GPT-3.5 和 GPT-4，ChatGPT，Bard 和 Gemini) 进行比较分析，使用 9 个不同任务评估每个模型的代码生成能力。我们将研究情境化，以代表日常工作中开发人员使用 LLMs 执行常见任务的典型用例。此外，我们强调安全意识，通过使用我们的开发者角色的两个不同版本来表示。总共我们收集了 61 个代码输出并分析了其功能性、安全性、性能、复杂性和可靠性等方面。这些洞见对于理解模型的能力和限制非常重要，并指导未来在自动化代码生成领域的开发和实际应用。

    Feb, 2024

  • 探索大型语言模型对代码分析中的分布式转换

    通过研究两个大型语言模型 CodeT5 和 Codex 在代码领域外具有的一般化能力，我们发现多任务学习与少许训练数据的微调相结合的方法能够很好地适应不同域的代码摘要和生成需求。

    Mar, 2023

  • 处理低资源语言任务的成本性能优化：使用商业 LLMs

    降低大型语言模型在低资源语言的处理成本，同时确保预测和生成性能不受损失，通过考虑代码混合、翻译和音译等方式来减少 LLM 处理的标记数量，并通过广泛研究 15 种印度语言的 IndicXTREME 数据集来证明最佳交互策略可以将成本降低 90%，并且与原始低资源语言的交互相比性能更好或可比。

    Mar, 2024

  • 从文字到瓦特：大型语言模型推理的能源成本基准测试

    大型语言模型（LLMs）的计算和能源资源利用的推理性能进行了基准测试和初步分析，分析了不同规模的 LLMa 在两代热门 GPU（NVIDIA V100 和 A100）以及两个数据集（Alpaca 和 GSM8K）上的推理性能与推理能源成本。

    Oct, 2023

  • 超越效率：资源高效的大型语言模型的系统调查

    大型语言模型（LLMs）的资源效率调查，系统地介绍了提高 LLMs 资源效率的各种技术，包括优化策略、评估指标和可持续发展。

    Jan, 2024