大型语言模型遇上自然语言处理:一项调研
对大型语言模型(LLMs)进行了综述,包括三个流行的 LLM 系列(GPT,LLaMA,PaLM)的特点、贡献和局限性,同时讨论了构建和增强 LLMs 的技术、为 LLM 训练、微调和评估准备的常用数据集以及常用的 LLM 评估指标,最后讨论了未来的挑战和研究方向。
Feb, 2024
本文提供一个关于使用大型语言模型(LLMs)处理自然语言处理(NLP)下游任务的全面指南,讨论了模型、数据和下游任务等方面的关键问题。同时提供了大量使用案例和非使用案例,以便于实现这些模型在各种 NLP 任务中的成功应用。
Apr, 2023
通过对多个 LLM 模型的研究,本文不仅提供了全面的概述,还明确了现有挑战,并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点,为进一步的探索、增强和创新提供了启示。
Mar, 2024
这篇研究论文总结了大型语言模型(LLMs)不同子类的最新发展,包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs,以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题,如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境,旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。
Jul, 2023
通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估,本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功,并揭示了 LLM 在特定领域应用中存在的问题和短板。
Aug, 2023
大型语言模型(LLMs),如 ChatGPT,因其卓越的人类语言理解和生成能力而受到广泛关注。因此,在医学领域应用 LLMs 以协助医师和患者护理成为人工智能和临床医学中一个有前景的研究方向。本调查旨在全面介绍 LLMs 在医学领域目前的进展、应用和挑战,回答以下问题:1)LLMs 是什么以及如何构建医学 LLMs?2)医学 LLMs 的下游性能如何?3)如何在真实临床实践中利用医学 LLMs?4)使用医学 LLMs 会面临哪些挑战?5)如何更好地构建和利用医学 LLMs?因此,本调查旨在深入探讨 LLMs 在医学领域的机遇和挑战,为构建实际和有效的医学 LLMs 提供有价值的资源。可以在此网址找到医学 LLMs 实用指南资源的定期更新列表。
Nov, 2023
大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力,并有潜力对我们的社会产生重大影响。然而,这些能力所需的资源相当可观,强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果,从模型中心、数据中心和框架中心的角度,将文献进行了分类整理。我们还创建了一个 GitHub 存储库,在这个存储库中收集了本调研中涉及的论文,并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源,帮助他们系统地了解高效大型语言模型的研究进展,并激励他们为这个重要而激动人心的领域做出贡献。
Dec, 2023
通过独特的基准数据集 NLPBench,评估了大型语言模型在自然语言处理中的问题解决能力,并发现高级提示策略的有效性不稳定,对 LLMs 性能有时造成损害,尤其是较小的模型 LLAMA-2(13 亿参数)中表现更明显;同时发现大型语言模型在科学问题解决能力方面存在特定的不足,逻辑分解和推理的薄弱性明显影响结果。
Sep, 2023