Oct, 2023

在协调游戏中使用概率短语：人类对 GPT-4 的对比

PDF
TL;DR英语演讲者使用概率短语例如 'likely' 来传达关于事件概率或可能性的信息。人类参与者和 GPT4 模型在评估概率和模糊性方面具有较高的一致性，但在模糊性方面存在较大差异。
probabilistic phrasescommunicationprobability estimatesambiguitygpt4
发现论文，激发创造
  • 大型语言模型的预测能力：基于一个现实世界预测比赛的证据

    利用 OpenAI 的最先进的大型语言模型 GPT-4，我们在 Metaculus 平台上进行了为期三个月的预测比赛，并发现 GPT-4 在真实世界的预测任务中明显表现不佳，相较于中间值的人类众测，其概率预测明显不准确。

    Oct, 2023

  • 大型语言模型在概率学习中的潜力：ChatGPT3.5 与一年级计算机工程学生的研究

    我们评估了 ChatGPT（2023 年 2 月版本），即一个大规模语言模型，在解决典型的介绍性计算机工程考试中出现的概率问题方面的效果。我们的研究包括了一套 23 个概率练习，这些练习被用来测试马德里市 Rey Juan Carlos 大学（URJC）的学生。我们对 ChatGPT 生成的回答进行了定性评估，并根据与学生相同的标准评分。我们的结果表明，ChatGPT 在措辞、组织和逻辑推理方面超过了平均学生。该模型在西班牙语和英语版本的练习中表现一致。然而，ChatGPT 在执行基本的数值运算方面遇到了困难。我们的实验表明，要求 ChatGPT 以 R 脚本形式提供解决方案是克服这些限制的有效方法。总之，我们的结果表明，ChatGPT 在解决计算机工程入门考试中常见的概率问题方面超过了平均学生。然而，该模型在某些概率概念的推理方面存在局限性。大型语言模型在提供高质量解释和以任何编程语言呈现解决方案方面的能力，以及其在解决概率练习中的表现，显示了它们作为学习助理的潜力。

    Oct, 2023

  • ChatGPT 在语言使用上是否与人类相似？

    通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

    Mar, 2023

  • ChatGPT 与后验概率

    ChatGPT 通过使用提示工程，展示了在医疗诊断推理中其对贝叶斯规则的运用能力，同时讨论了如何减少错误数量以及对大型语言模型的新研究方向的启示。

    Nov, 2023

  • 通过 ChatGPT 提高人机协作的信任度

    本研究探讨了 ChatGPT 对人机协作任务中人的信任的影响，通过设计了一个机器人控制系统 RoboGPT，使用 ChatGPT 来控制七个自由度机械臂，帮助人类操作员完成工具的获取和放置，并使用自然语言与人类交互，结果表明 ChatGPT 能够显著提高人机协作中的信任度，建立更自然和直观的人机交互。

    Apr, 2023

  • 驾驭灰色地带：语言模型中的过度自信和不确定表达

    本文探究了语言模型在解释和生成不确定表达时的行为，并发现当模型以确定性的语言输出时，模型的准确性会有所下降。这些结果突显了建立有能力解释和生成可信任的不确定表达的语言模型的挑战。

    Feb, 2023

  • 教授模型用语言表达不确定性

    本文证明了 GPT-3 模型可以学习在自然语言中表达关于自己答案的不确定性，并且能够在分布转移下保持中度校准，同时提供了证据表明 GPT-3 的校准能力依赖于与其答案的认识不确定性相关的预训练潜在表示。

    May, 2022

  • ChatGPT 提示无法估计高资源语言的预测不确定性

    ChatGPT 通过在高资源语言中表现和预测答案准确性的能力进行分析，发现高资源语言表现与英语相似，但 ChatGPT 缺乏良好的置信度校准，常常过于自信且不会给出低置信度值。

    Nov, 2023

  • 使用大型语言模型进行成对编程，用于抽样和估计 Copulas

    通过与人类专家的合作，使用 ChatGPT 等 LLMs 的自然语言交互和数学形式主导开发代码，成功地从给定的 copula 模型中采样、评估模型密度、执行最大似然估计并优化代码以供 CPU 和 GPU 的并行计算使用和可视化计算结果。

    Mar, 2023

  • 大型语言模型是否能够很好地玩文本游戏？现状和开放问题

    本技术报告针对大型语言模型 (ChatGPT 和 GPT-4)，探究它们在玩文字游戏方面的能力，实验证明 ChatGPT 表现与现有系统相比具有竞争力，但仍没有足够的智能去构建游戏世界模型、利用已有世界知识和推断游戏进程中的目标。这为人工智能、机器学习和自然语言处理交叉领域开辟了新的研究问题。

    Apr, 2023