Oct, 2023

ChipNeMo：面向芯片设计的领域自适应 LLMs

PDF
TL;DRChipNeMo 通过领域自适应技术在工业芯片设计中探索了大型语言模型的应用。我们评估了这些方法在芯片设计的三个 LLM 应用上的性能，并展示了这些领域自适应技术能够显著提升 LLM 的性能，并实现模型大小减少 5 倍但在一系列设计任务上具有相似或更好的性能。我们的研究结果表明，还有进一步改进的空间，我们相信对领域自适应 LLM 方法的进一步研究将有助于填补这一差距。
chipnemolarge language modelsindustrial chip designdomain adaptation techniquesperformance improvements
发现论文，激发创造
  • 评估经济可行性：领域适应大型语言模型与最先进对手在芯片设计编码辅助中总拥有成本的比较分析

    本研究通过比较分析了专用领域适应的大型语言模型（LLM）与最先进的 LLM 之间的总拥有成本和性能，重点关注与芯片设计相关的编码辅助任务。我们评估了一个专用领域适应的 LLM 模型 ChipNeMo 与两个领先的 LLM 模型 Claude 3 Opus 和 ChatGPT-4 Turbo 的 TCO 和性能指标，以评估它们在芯片设计编码生成方面的有效性，旨在为利益相关者提供关键的信息，以选择最经济有效和性能高效的解决方案以满足其特定需求。我们的结果强调了应用专用领域适应模型（如 ChipNeMo）的优势，它们在显著降低成本的同时提高了性能，尤其是我们揭示了专用领域适应 LLM 降低 TCO 约 90%-95% 的潜力，成本优势在部署规模扩大时变得越发显著，使专用领域适应 LLM 成为具有大量 LLM 支持编码需求的组织的有吸引力的选择。

    Apr, 2024

  • 领域特定的 LLMs 的微调和利用方法

    本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注 LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域 LLM 微调的关键考虑因素。通过实例展示了 LLM 微调在金融领域的实际应用，包括股价预测、金融新闻情感分析、自动文档处理、信息提取和客户服务的增强。本研究旨在推进自然语言处理技术在商业领域的应用，建议积极利用 LLM 在金融服务等行业中的潜力。

    Jan, 2024

  • 超越一模型适用于所有场景：大型语言模型领域特化调查

    本论文提出了一个系统化的分类方法，将 LLMs 领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。

    May, 2023

  • Tag-LLM: 通用智能语言模型在专业领域的再利用

    通过引入一种新的模型无关框架，该框架可以学习定制输入标签来调节语言模型，并明确区分任务领域和任务功能，从而使得模型在特定领域中能够实现零样本泛化，并在预测蛋白质或化学性质以及建模药物靶标相互作用等专业领域中，超过专业为这些任务量身定制的模型的性能。

    Feb, 2024

  • 大型语言模型网络适应

    利用大型语言模型 (LLM) 的适应性，以提供更好的性能和更强的泛化能力，本文首次研究了将 LLM 应用于网络的可持续设计理念，通过 NetLLM 框架实现了高效的 LLM 适应网络问题，并展示了它在不同网络任务中的有效性。

    Feb, 2024

  • CombLM：通过小型微调模型调整黑盒语言模型

    一种适用于新任务和域的轻量级语言模型细调方法，采用小型白盒模型细调结合概率级别的大型黑盒模型，可显着提高机器翻译等任务的性能。

    May, 2023

  • 语言模型的持续学习

    本研究提出了一种新的方法，使用一系列未标记的领域语料库来连续培训语言模型，从而改善它们的最终任务绩效。该方法的关键创新点是一种软掩蔽机制，它直接控制语言模型的更新，同时提供了一个新的代理来保留原始 LM 中的通用知识。实证评估证明了所提方法的有效性。

    Feb, 2023

  • 探索构建语言特定的 LLM 的设计选择

    通过对已有大语言模型进行适应和扩展，我们研究了构建语言专属的大语言模型。我们通过系统实验探究基础模型选择、词汇扩展和持续微调等设计选择对适应后的大语言模型的效率（编码同样数量信息所需的词汇数）和最终任务性能的影响。我们发现，（1）适应前的初始性能并不总是最终性能的指示；（2）大多数研究的大语言模型可以通过简单的词汇扩展和持续微调来提高效率；（3）最佳的适应方法高度依赖于语言，简单的方法在各种实验设置中都表现良好。与适应多语言模型相比，适应以英语为中心的模型在资源稀缺语言上可以取得更好的结果。总之，我们的工作为通过适应现有大语言模型高效构建语言专属大语言模型奠定了基础。

    Jun, 2024

  • 关于预训练语言模型的领域自适应和泛化：一项综述

    本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

    Nov, 2022

  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024