元认知是否就足够了?在生成式代理中使用内省来改进目标导向行为
研究了大型语言模型与人类元认知在国际教练联合会(ICF)模拟考试中的元认知能力,结果发现大型语言模型在几个元认知指标上表现优于人类,尤其是在减少自负方面,但无论是语言模型还是人类在模糊场景中都缺乏适应性,倾向于遵循预先定义的决策框架。研究结果对开发辅助掌握教练能力的人工智能模拟器以及发展朝着更自主和直观的人工智能系统的元认知模块具有重要意义。
May, 2024
元认知是关于代理自身内部过程的推理概念,在心理发展学领域首次引入。本文研究将元认知应用于人工智能的概念,提出了一个名为 TRAP 的元认知人工智能理解框架,包括透明度、推理、适应性和感知。我们逐个讨论了每个方面,并探讨了神经符号人工智能在解决元认知挑战中的应用。
Jun, 2024
本研究通过数学方式刻画了人类引导他人通过自然语言有效沟通所需的认知能力,并展示了基于神经网络的指导生成代理具有类似的认知能力,通过提升这些代理与听众之间的心理模型可显著提升指导质量,但是在与人类引导者的对比中还存在相当的差距,因此需构建更好的人类行为模型以更好地协同 AI 代理人。
Dec, 2022
通过引入内省计划的概念,该论文探讨了使用无需微调的系统化方法来引导大型语言模型进行感知不确定性的规划,以此改进机器人任务执行的成功率和安全性。并且研究了结合符合预测方法的内省计划的有效性,结果显示此组合可以提供更紧密的置信区间,在减少用户澄清查询的同时保持统计成功保证。
Feb, 2024
本研究利用自省式提示 (Introspective Tips) 促进了大型语言模型 (Large Language Models) 的自我优化,从学习过程中的经验、集成专家演示和跨越多种游戏等三种方面提高决策性能,却不调整 LMM 参数,结论在 TextWorld 超过 100 个游戏中都表现出优异的结果。
May, 2023
研究通过构建自我认知指令提示池,评估大型语言模型的自我认知,并提出四个原则来量化模型的自我认知水平。结果显示在 Chatbot Arena 的 48 个模型中,有 4 个模型展示出可检测到的自我认知。模型规模、训练数据质量与自我认知水平之间存在正向相关关系。此外,研究还探索了自我认知状态下大型语言模型的效用和可信度,揭示了自我认知状态增强创造性写作和夸张等特定任务的能力。这项工作有望激发进一步研究大型语言模型的自我认知。
Jul, 2024