Aug, 2023

成本困境：大规模语言模型的泛化、评估和成本优化部署

PDF
TL;DR通过提出一个专为大型语言模型量身定制的泛化、评估和成本建模框架，我们认为在部署大型语言模型之前，企业需要仔细评估泛化、评估和成本优化三个因素。
machine learning modelsgeneralizationevaluationcost-optimalitylarge language models
发现论文，激发创造
  • 语言模型可复现评估的实践经验

    在 NLP 中，评估语言模型的有效性仍然是一个开放性挑战。本文通过三年的经验总结提供了对评估语言模型的指导和教训，并介绍了用于独立、可重现和可扩展评估语言模型的开源库。

    May, 2024

  • 文本分类任务中的成本 / 质量权衡：我应该选择哪种模型？

    本文对文本分类任务进行了量化分析，以分类准确性为主要指标，评估了各种模型的性能，包括大型语言模型及其相关成本，包括注释成本、训练成本和推理成本，并讨论了在需要大量推断样本的情况下的模型选择。其目的是为了帮助人们更好地理解文本分类任务的成本 / 质量权衡。

    Jan, 2023

  • 大型语言模型符合人们的期待吗？测量人类的普适能力函数

    人们使用大型语言模型的目的，以及这些模型的部署决策、人类泛化功能的一致性，以及大型语言模型与人类泛化功能的一致性评估对于模型在特定任务上的表现至关重要。

    Jun, 2024

  • 对大型语言模型评估的调查

    大语言模型（LLMs）的评估方法是研究这些模型的重要组成部分，这篇综述介绍了评估 LLMs 的方法和维度，并总结了 LLMs 在不同任务中的成功案例、失败案例和未来挑战。

    Jul, 2023

  • 什么是最好的模型？用于大型语言模型的应用驱动评估

    通过构建一个应用驱动的评估基准，我们提供了一种选择最佳模型的方法，并推动其应用和发展。

    Jun, 2024

  • 估算和提高语言模型的强健性的方法

    通过研究大型语言模型的泛化能力问题以及多种提高其分布韧性的方法，本文提出了未来改进大型语言模型鲁棒性的研究方向。

    Jun, 2022

  • 法律科技开放日记：在巨型语言模型时代开发和部署轻量级模型的经验教训

    本研究探讨了如何从零开始构建多个特定领域的多语言语言模型，并测试了它们在法律语料库上的效果。同时，研究者还讨论了模型的压缩方法，以减少计算资源和经济成本并保持模型性能。

    Oct, 2022

  • 评估语言模型代理的方法与谈判

    通过协商游戏来共同评估语言模型的性能和对齐情况，发现开源模型目前无法完成这些任务，合作协商游戏具有挑战性，最强大的模型并非总是 “赢家”。

    Jan, 2024

  • 生成语言模型和影响操作的成本分析

    大型语言模型对宣传者在内容生成成本方面提供可观的节省，并在影响操作中具有潜在的减少成本的能力。

    Aug, 2023

  • 机器学习系统部署管道的持续学习

    研究了机器学习系统的最小自动化部署技术，并比较了自动化部署技术的优劣，以帮助后来的采用者避免在实际使用案例中发生概括性错误，并选择更好的策略，同时提高机器学习系统的部署评估框架意识，有更全面、有用的评估指标，而不仅仅关注单一的因素，这对于行业决策者尤为重要。

    Dec, 2022