Feb, 2023

增强语言模型：一项综述调查

PDF
TL;DR该论文回顾了一些带有推理技能和使用工具能力的语言模型增强技术，并将其称为增强语言模型 (ALMs)，该模型在缺失令牌预测的目标下，能够学习推理、使用工具，甚至执行任务，具有普通语言模型所没有的上下文处理能力，且在多个基准测试中优于普通语言模型，该技术有望解决传统语言模型的局限性，如可解释性、一致性和可扩展性问题。
language modelsreasoning skillstoolsaugmented language modelsmissing tokens prediction
发现论文，激发创造
  • 增强 LLMs 与知识：关于幻觉防止的调查

    将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

    Sep, 2023

  • 从语言模型到实用的自我改进计算机代理

    我们开发了一种简单直接的方法，可以创建能够执行多种计算机任务并通过开发工具和扩展自身能力来自我改进的 AI 计算机代理。

    Apr, 2024

  • 大型语言模型（LLM）的几个类别：简要调查

    这篇研究论文总结了大型语言模型（LLMs）不同子类的最新发展，包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs，以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题，如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境，旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。

    Jul, 2023

  • TALM: 工具增强型语言模型

    本文介绍了一种基于迭代 “自我对弈” 技术的文本增强语言模型方法，使用不可微分的工具扩充语言模型功能，成功在知识丰富型问答和简单工具所需的数学任务中具有很强的表现力，优于非增强型语言模型，在 QA 和数学任务的超越分布推理方面更是取得了成功，证明了工具增强型语言模型是一种非常有前景的方法，可以使语言模型在不依赖于模型（尺度）的基础上具备更多的能力。

    May, 2022

  • 增强语言模型数据整合的学习

    本篇论文研究了大型语言模型的局限性，提出了使用外部数据访问技术扩展语言模型的解决方法，并将其与数据集成的研究进行了比较，探讨了研究路径的启示。

    Apr, 2023

  • 语言模型作为代理模型

    语言模型仅通过文本训练，但仍然可以推断和表示产生语境的人的代理人属性，包括细粒度的交际意图和抽象的信仰和目标，并被用于构建通信和行为系统。

    Dec, 2022

  • 通过大型语言模型探索自主代理：一项综述

    大型语言模型（LLMs）正在改变人工智能，使得自主代理能够在不同领域执行多样化任务。这些代理具备类似人类的文本理解和生成能力，有望在从客户服务到医疗保健等各个领域引发革命。然而，它们面临着诸如多模态、人类价值取向、幻觉和评估等挑战。推动、推理、工具利用和上下文学习等技术正在被探索，以增强它们的功能。像 AgentBench、WebArena 和 ToolLLM 这样的评估平台为在复杂场景中评估这些代理提供了强大的方法。这些进展正在引领更加有韧性和能力的自主代理的发展，预计它们将成为我们数字生活中不可或缺的一部分，协助我们完成从邮件回复到疾病诊断等任务。拥有 LLMs 带头的人工智能的未来充满了希望。

    Apr, 2024

  • Toolformer：语言模型可以自学使用工具

    本文提出 Toolformer 模型，利用简单的 API 可以帮助语言模型自动完成一些功能，如计算或答疑系统，并显著提高其在一些下游任务上的表现。

    Feb, 2023

  • 数学语言模型综述

    近年来，在数学领域中，利用语言模型（LMs）取得了显著进展，本文从任务和方法论两个不同的角度对数学 LMs 进行了全面的调查和分类，揭示出大量的数学 LLMs 和超过 60 个数学数据集的应用和研究。

    Dec, 2023

  • 多模态大型语言模型（MLLMs）的推理能力探索：多模态推理中新兴趋势的综述

    综合评估了多模态大语言模型的现有评估协议，分类和说明了多模态大语言模型的前沿，介绍了多模态大语言模型在推理密集型任务上的最新趋势，并讨论了当前的实践和未来的发展方向。

    Jan, 2024