May, 2024

生成 AI 作为元认知代理的研究：关于模拟 ICF 考试表现的人类参与者的比较混合方法研究

PDF
TL;DR研究了大型语言模型与人类元认知在国际教练联合会（ICF）模拟考试中的元认知能力，结果发现大型语言模型在几个元认知指标上表现优于人类，尤其是在减少自负方面，但无论是语言模型还是人类在模糊场景中都缺乏适应性，倾向于遵循预先定义的决策框架。研究结果对开发辅助掌握教练能力的人工智能模拟器以及发展朝着更自主和直观的人工智能系统的元认知模块具有重要意义。
metacognitive capabilitieslarge language modelshuman metacognitioncoaching competenciesgenerative ai
发现论文，激发创造
  • 元认知是否就足够了？在生成式代理中使用内省来改进目标导向行为

    介绍了一种元认知模块，使生成式智能体能够观察自己的思维过程和行为，从而显著提高性能并改进策略。在多种情景中进行了测试，包括求生僵尸启示录，发现我们的系统胜过其他系统，而且智能体随着时间适应并改进任务策略。

    Jan, 2024

  • 生成 AI vs. AGI：现代 LLM 的认知优势与劣势

    对交互式 LLM 作为认知系统的考虑，重点关注 2023 年左右的 LLMs（如 ChatGPT，GPT-4，Bard，Llama）。回顾了这些系统的认知优势，并着重关注这些 LLMs 与人类认知系统之间的实质性差异。研究发现，这些 AI 系统的许多实际缺陷可以与它们构建的基本认知架构的不足有关。作者认为，在实际情况下，通过渐进改进这些 LLMs 并不能实现朝人级通用人工智能迈进的目标。然而，这并不意味着研究和实验 LLMs 就没有助于了解人级通用人工智能，也不意味着 LLMs 不能作为整合其他思想的人级通用人工智能体系结构的重要组成部分。文章还简要提及了与 LLMs 相关的社会和伦理事项，说明虽然需要谨慎处理信息误导等问题，经济动荡也需要根据其不可预测的进程采取相应的社会纠正措施，但总体上，与现代 LLMs 相关的政策与如果已经有更可信的人级通用人工智能近似模型存在时的情况截然不同。

    Sep, 2023

  • LLM 认知能力的高效测量：自适应测试视角

    提出了一种采用自适应测试框架评估大型语言模型的方法，该方法可以根据模型的表现动态调整测试问题的难度，从而更准确地估计模型的能力，使得大型语言模型可以与人类进行比较，同时该方法可以使用更少的问题，从而更加高效。对 ChatGPT 等 6 种模型进行了细粒度诊断，并通过不同测试发现 GPT4 模型在主题知识、数理推理和编程方面表现优异，可以达到中等水平学生的认知能力水平。

    Jun, 2023

  • LLM 认知判断与人类不同

    GPT-3 和 ChatGPT 在认知科学文献中对有限数据归纳推理任务的能力被调查，结果表明这些模型的认知判断并非类似于人类。

    Jul, 2023

  • 机器心理学：大型语言模型预测人类记忆

    通过测试 ChatGPT 在语言记忆任务中对人类表现的预测能力，研究发现 ChatGPT 和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

    Mar, 2024

  • 大型语言模型展示对新颖文学隐喻的演绎能力

    通过评估 GPT-4，一个尖端的大型语言模型，在解释塞尔维亚诗歌中提取的新颖文学隐喻时所提供的自然语言解释能力，它未展现出之前接触过这些隐喻的迹象，但提供了详细而深刻的解释，被盲审的人员（不知道涉及 AI 模型的事实）将 GPT-4 生成的隐喻解释评为优于来自一组大学生的解释，这些结果表明 GPT-4 等大语言模型已经获得了解释复杂新颖隐喻的新兴能力。

    Aug, 2023

  • 评估大型语言模型的性质：对人类中心主义的警告

    GPT3.5 的认知能力和人格测量存在较大的变异性，但其所展示的低自尊和与现实脱节的表现可能与人类的良好心理健康状态相悖。

    Sep, 2023

  • 评估和模拟社会智能：人类与人工智能能力的比较研究

    该研究提出了一个用于评估社交智能的基准，引入了逆向推理和逆向规划这两个评估任务，通过基于递归贝叶斯推理的计算模型对人类行为模式进行解释，实验证明了人类在整体表现、零样本学习、一次推广和多模态适应性方面超越了最新的 GPT 模型，并显示出 LLMs 倾向于依赖模式识别来进行快速计算，对其是否拥有真正的人类级社交智能产生了质疑。

    May, 2024

  • 人工神经心理学：大型语言模型是否能够发展执行功能？

    研究表明 LLMs（大型语言模型）可以在 Towers of Hanoi 相关任务中生成近乎最优解，体现出计划能力和高效工作记忆利用率，这暗示了一种潜在的执行功能发展，但这些能力相对有限，而非经过充分训练的人类表现更好

    May, 2023

  • 一种评估生成型人工智能思考质量的框架

    通过 MAGE 框架，本研究旨在探索 LLM ChatGPT4 应用的能力，为教育工作者提供一个方法，以在其学科背景中系统地评估其评估的脆弱性，并提供特定和针对性的问题脆弱性指示，以评估关键思维技能的基础。

    Jun, 2024