Aug, 2023

大型语言模型在国际象棋棋盘上的应用：对 ChatGPT 的形式语言理解和复杂推理能力的研究

PDF
TL;DR这篇论文通过探究 ChatGPT（OpenAI 的先进语言模型）处理复杂推理任务（以国际象棋为例）的表现，利用评估棋盘理解、国际象棋规则遵守和战略决策能力的健全指标来识别其注意机制和自我调节能力的局限性，以及在自然语言体量较大或棋盘状态理解较明晰时决策力的增强；这些研究结果对于突破自然语言处理的局限，为展示类人认知能力的模型提供了宝贵的信息。
发现论文，激发创造
  • 大型语言模型是否能够很好地玩文本游戏？现状和开放问题

    本技术报告针对大型语言模型 (ChatGPT 和 GPT-4)，探究它们在玩文字游戏方面的能力，实验证明 ChatGPT 表现与现有系统相比具有竞争力，但仍没有足够的智能去构建游戏世界模型、利用已有世界知识和推断游戏进程中的目标。这为人工智能、机器学习和自然语言处理交叉领域开辟了新的研究问题。

    Apr, 2023

  • 评估 ChatGPT 在回答复杂问题时作为问答系统的有效性

    评估使用自身知识作为问答系统的 ChatGPT 在回答复杂问题方面的能力，我们提出了一个框架来评估其功能和可靠性，并使用 CheckList 和 8 个现实世界的基于 KB 的问答数据集进行了测试。 我们发现 LLM 模型的一些常见问题。

    Mar, 2023

  • Chess Transformer：利用生成式语言模型掌握下棋

    本研究证明了自然语言变换器可以支持更通用的战略建模，特别是对于文本存档游戏。我们的 Chess Transformer 在 2.8 百万张国际象棋棋局的训练中能够生成合理的策略和经典开局的局面，加入了与人交互的方法可以正确过滤非法移动并挑战变压器的棋局。未来的研究将构建在这个变换器的基础上，在其他具有从简单但富有表现力的玩家注释中捕捉底层复杂规则语法的策略游戏中特别发挥作用。

    Aug, 2020

  • 扩展 ChatGPT 的前沿：代码生成和调试

    本研究探讨了 ChatGPT 在解决编程问题方面的有效性，考察了其解决问题的正确性和时间、内存复杂度等效率，研究结果表明 ChatGPT 在结构化问题方面表现出较好的成功率，但其调试任务表现不佳，为 ChatGPT 的能力和改进提供了精辟的了解。

    Jul, 2023

  • 揭示巨人真面目：ChatGPT 在编写算法和数据结构方面的全面评估

    本文对 ChatGPT 的编码能力进行全面评估，重点考察了其在 Python 编程语言和数据结构与算法等基础计算机科学问题上的表现，包括解决问题的能力、代码质量和运行时错误性质，探究了其对训练数据的直接记忆现象，并在各个子主题和难度不等的问题上与人类表现进行对比研究。

    Jul, 2023

  • CHATGPT 与语言模型的比较分析

    本文比较了 ChatGPT 在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。

    Mar, 2023

  • ChessGPT：连接策略学习和语言建模

    在本论文中，我们提出了一个名为 ChessGPT 的神经网络模型，该模型整合了供强化学习所需的历史政策数据和自然语言形式的分析洞察力，从而使智能体能够更好地解决决策问题和棋类游戏。

    Jun, 2023

  • ChatGPT 在语言使用上是否与人类相似？

    通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

    Mar, 2023

  • 自生成战争游戏 AI: 基于大型语言模型的双层代理任务规划

    这篇论文将较大的语言模型应用于智能决策领域，构建了一个以大语言模型为核心的代理体系结构，并通过自然语言的交互发布和执行决策命令，进一步进行仿真验证。通过游戏对抗模拟实验，发现大语言模型的智能决策能力明显优于常用的强化学习人工智能和规则人工智能，并且智能、可理解性和泛化性都更好。通过实验还发现，大语言模型的智能与提示密切相关。这项工作将大语言模型从人机交互扩展到智能决策领域，对智能决策的发展具有重要的参考价值和意义。

    Dec, 2023

  • ChatGPT 在生成式人工智能和大型语言模型时代的简明调查

    ChatGPT 是 OpenAI 创建的一种大型语言模型 (LLM)，通过大量数据的精心训练，推动了自然语言处理 (NLP) 的发展，并拓展了 LLM 的能力边界。本文主要目标是对 ChatGPT 及其演变的当前研究方向进行简明概述，提供了基于玻璃盒和黑盒观点的综合分析。此概述也揭示了 LLM 和 GAI 领域的现有和缺失研究方向，有益于公众用户和开发人员。

    Jul, 2023