Sep, 2023

生成 AI vs. AGI：现代 LLM 的认知优势与劣势

PDF
TL;DR对交互式 LLM 作为认知系统的考虑，重点关注 2023 年左右的 LLMs（如 ChatGPT，GPT-4，Bard，Llama）。回顾了这些系统的认知优势，并着重关注这些 LLMs 与人类认知系统之间的实质性差异。研究发现，这些 AI 系统的许多实际缺陷可以与它们构建的基本认知架构的不足有关。作者认为，在实际情况下，通过渐进改进这些 LLMs 并不能实现朝人级通用人工智能迈进的目标。然而，这并不意味着研究和实验 LLMs 就没有助于了解人级通用人工智能，也不意味着 LLMs 不能作为整合其他思想的人级通用人工智能体系结构的重要组成部分。文章还简要提及了与 LLMs 相关的社会和伦理事项，说明虽然需要谨慎处理信息误导等问题，经济动荡也需要根据其不可预测的进程采取相应的社会纠正措施，但总体上，与现代 LLMs 相关的政策与如果已经有更可信的人级通用人工智能近似模型存在时的情况截然不同。
发现论文，激发创造
  • LLM 认知判断与人类不同

    GPT-3 和 ChatGPT 在认知科学文献中对有限数据归纳推理任务的能力被调查，结果表明这些模型的认知判断并非类似于人类。

    Jul, 2023

  • 生成 AI 作为元认知代理的研究：关于模拟 ICF 考试表现的人类参与者的比较混合方法研究

    研究了大型语言模型与人类元认知在国际教练联合会（ICF）模拟考试中的元认知能力，结果发现大型语言模型在几个元认知指标上表现优于人类，尤其是在减少自负方面，但无论是语言模型还是人类在模糊场景中都缺乏适应性，倾向于遵循预先定义的决策框架。研究结果对开发辅助掌握教练能力的人工智能模拟器以及发展朝着更自主和直观的人工智能系统的元认知模块具有重要意义。

    May, 2024

  • 认知架构能够从根本上增强 LLM 吗？反之亦然？

    研究论文讨论了解决当前基于 LLM 的 AI 系统局限性所需的内容，并认为将人类认知和心理学的见解作为基于计算的认知架构的一部分可以帮助开发能力更强、更可靠、更具人类特征的系统。它强调双过程架构和混合神经符号方法在解决当前 LLM 的局限性方面的重要性。与此相反，该论文还强调了需要彻底改变计算机认知架构以更好地反映人工智能和计算技术的进步的必要性。总的来说，该论文主张从多学科的、互利共赢的角度来开发更好的模型，既用于人工智能，也用于理解人类思维。

    Jan, 2024

  • 使用 LLMs 探索定性研究

    本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

    Jun, 2023

  • 从生成智能到可信智能的过渡：大型语言模型可以从 Cyc 中学到什么

    生成型 AI 是当前最流行的 AI 方法之一，它包括大型语言模型（LLM），这些模型被训练成可以生成看似正确但不一定准确的输出。然而，它们在推理方面存在不足，导致 LLMs 的可靠性不完全。此研究提出了一种替代 AI 方法，通过使用明确的知识和经验规则对 AI 进行教育，从而使推理引擎能够自动推导出所有知识的逻辑蕴涵关系；该方法能够得到可信且可解释的结果。然而，使用高阶逻辑的推理引擎速度较慢，因此需要采用某种快速但表达能力较低的逻辑，如知识图谱。该研究还提出了将 LLM 方法与更正式的方法相结合的思路，以实现可信的综合型 AI。

    Jul, 2023

  • 高级大语言模型的治理和利用的道德人工智能原则和指南

    通过讨论伦理人工智能原则和指南的使用，本文旨在解决高级大型语言模型（LLMs）的伦理问题。

    Dec, 2023

  • LLMs 与人的境况

    这篇论文介绍了三种已建立的人类决策理论，并描述了它们如何集成以提供有目的的人类行动模型。将语言视为行动的想法在论文中应用于会话式用户界面，并旨在重新激发对理解 LLMs 实际操作的兴趣。

    Feb, 2024

  • 与 LLMS 的谈判：迅速入门、技能差距与推理缺陷

    通过观察人类与大型语言模型（LLMs）的对话，本研究基于数据驱动的方法，对 LLMs 的治理和调节进行了归纳性分析，并探讨了非合作性、竞争性情境下的人机交互对人类可能构成的严重威胁以及利用 LLMs 的推理能力存在的不足和可操纵性。此外，研究还揭示了人类在与 LLMs 进行价格谈判时所达成的价格涵盖了广泛范围，指出了人类在有效与 LLMs 互动方面存在的文盲问题。

    Nov, 2023

  • LLM 认知能力的高效测量：自适应测试视角

    提出了一种采用自适应测试框架评估大型语言模型的方法，该方法可以根据模型的表现动态调整测试问题的难度，从而更准确地估计模型的能力，使得大型语言模型可以与人类进行比较，同时该方法可以使用更少的问题，从而更加高效。对 ChatGPT 等 6 种模型进行了细粒度诊断，并通过不同测试发现 GPT4 模型在主题知识、数理推理和编程方面表现优异，可以达到中等水平学生的认知能力水平。

    Jun, 2023

  • LLM 伦理导航：进展、挑战和未来方向

    本研究探讨了人工智能领域中大型语言模型（LLMs）的伦理问题。它讨论了 LLMs 和其他人工智能系统所面临的常见伦理挑战，如隐私和公平，以及 LLMs 特有的伦理挑战，如幻觉、可验证的问责和解码审查复杂性。该研究强调了解决这些复杂性的必要性，以确保问责制、减少偏见并增强 LLMs 在塑造信息传播方面所扮演的重要角色的透明度。它提出了缓解策略和 LLM 伦理的未来发展方向，主张跨学科合作。该研究建议针对特定领域制定伦理框架，并根据不同环境调整动态审计系统。这一路线图旨在引导负责任地开发和整合 LLMs，设想一个以伦理考虑为基础的人工智能进步的未来社会。

    May, 2024