May, 2024

重新思考 ChatGPT 的成功：基于自回归语言模型的提示促使下的可用性和认知行为

PDF
TL;DR过去十年中，许多训练和部署大型语言模型（LLMs）的策略涌现出来。本文旨在强调利用自由形式的模态和口头自由形式的语境作为用户指导通道以进行下游部署的重要性。具体而言，我们分析了两种类型的 LLMs 的模态结构以及部署过程中的六个具体任务通道。从用户的角度出发，我们引入并应用了任务可定制性、透明度和复杂性的分析度量标准来衡量它们的可用性，突显了 AR-LLMs 的提示范例的优越性。此外，我们通过采用自由形式文本和口头语境来激发 LLMs 中的多样化认知行为，模仿了人类的这些行为的语言表达方式。然后，我们详细介绍了四种常见的认知行为，以强调 AR-LLMs 的提示如何成功地模仿使用这种自由形式的模态和通道的类似人类的行为。最后，通过认知行为的概念和原则，确定了改进 LLM 在自主代理和多代理系统中部署的潜力。
large language modelsauto-regressive llmsfree-form modalitiesverbal free-form contextscognitive behaviors
发现论文，激发创造
  • 自回归大型语言模型中的提示

    自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了自回归大语言模型中提示领域的一些未解决问题，可作为未来研究的方向。

    Nov, 2023

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • 基于自然语言的 LLMs 上下文建模与推理：教程

    利用大型语言模型，我们展示了利用文本、提示和自主代理让模型进行上下文建模和推理的计算范式，即基于大型语言模型驱动的上下文感知计算。

    Sep, 2023

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 基于 LLM 助手何时出错：对基于提示的软件求助交互有效性的研究

    大型语言模型（LLM）助手是帮助用户浏览复杂多功能软件的潜在替代方法。我们通过与 16 名参与者的实验和后续访谈对 LLM 生成的软件指导进行了研究。我们比较了基准 LLM 助手与一种针对特定软件背景优化过的 LLM 助手 SoftAIBot，后者还提供了构建适当提示的指南。但令人惊讶的是，虽然 SoftAIBot 优于基准 LLM，但我们的结果显示，无论是否使用提示指南和领域上下文的集成，LLM 的使用和用户感知没有显著差异。大多数用户难以理解提示文本与 LLM 的回应之间的关联，并且通常逐字逐句地遵循 LLM 的建议，即使是错误的。这导致在使用 LLM 的软件任务建议时出现困难，降低了任务完成率。我们的详细分析还表明，用户对 LLM 的回应中的错误毫不知情，这表明他们在软件专业知识的缺乏和评估 LLM 助手的能力之间存在差距。随着设计领域特定 LLM 助手的推动日益增加，我们强调将可解释的、上下文感知的提示融入 LLM 中的重要性，以帮助用户理解基于提示的交互，识别偏见，并最大化 LLM 助手的效用。

    Feb, 2024

  • 针对积极对话的大型语言模型的提示和评估：澄清、目标导向和非协作

    本篇论文中，我们提出了一种称之为 Proactive Chain-of-Thought 推导方案，它能够增强 LLMs 的目标规划能力，以解决其在主动对话方面的不足，具体涉及三个方面：澄清、目标引导和非协作对话。我们还探讨了相应的实证结果，以促进未来在基于 LLM 的主动对话系统方面的研究。

    May, 2023

  • 学习在课堂中进行提示以理解 AI 的限制：一项试点研究

    研究人工智能（AI）的可接受性，探究影响 AI 接受的因素并通过 AI 受教育介入提高人工智能 AI 繁殖的文化训练。

    Jul, 2023

  • 自回归之火：通过它们所训练解决的问题来理解大型语言模型

    大语言模型的广泛应用使得识别它们的优势和局限性变得重要。我们主张，为了全面理解这些系统，我们需要考虑它们在训练中解决的问题：互联网文本的下一个词预测。通过认识到这个任务所带来的压力，我们可以对大语言模型采用的策略进行预测，从而推断它们的成功或失败。这种方法，我们称之为目的论方法，使我们能够确定三个因素，我们假设这些因素会影响大语言模型的准确性：执行任务的概率、目标输出的概率和提供的输入的概率。我们预测，当这些概率较高时，大语言模型的准确性会更高，而当概率较低时，即使在确定性环境下，概率也不应该起作用。为了验证我们的预测，我们对两个大语言模型（GPT-3.5 和 GPT-4）进行了十一项任务的评估，我们找到了强有力的证据表明大语言模型受到我们假设的概率影响的方式。在许多情况下，实验揭示了令人惊讶的失效模式。例如，当输出是高概率单词序列时，GPT-4 解码简单密码的准确率为 51%，但当输出是低概率时，准确率为 13%。这些结果表明 AI 从业者在低概率情况下使用大语言模型时需要谨慎。更广泛地说，我们得出结论，我们不应该把大语言模型评估为人类，而应该把它们看作一类独特的系统 —— 这类系统经过了自己特定的压力塑造。

    Sep, 2023

  • 情绪刺激：通过心理学为大型语言模型提升增强

    大语言模型通过 EmotionPrompt 在情绪智能方面进行性能提升，取得了显著的成果，有助于人类与语言模型的跨学科知识交互。

    Jul, 2023

  • 机器心理学：大型语言模型预测人类记忆

    通过测试 ChatGPT 在语言记忆任务中对人类表现的预测能力，研究发现 ChatGPT 和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

    Mar, 2024