本研究提出了 “形象化语言图像识别” 数据集,探讨了视觉和语言模型理解多模态形象化语言的难点,并借助基准任务和基线模型初步研究了这一问题。结果表明,所有的模型在多模态形象化语言理解上都不如人类。该数据集和基准任务将促进模型更好地理解形象化语言。
Mar, 2023
该论文比较人类和 ChatGPT(GPT-3.5 和 GPT-4)在各种词汇概念特征或维度上的词汇概念表示,结果表明 LLM 可以在某些抽象维度上表现得与人类相似,但在感官和运动领域,GPT-3.5 表现较弱,而 GPT-4 在这方面有了显著进展,但仍然存在一些不足。此外,研究还发现,GPT-4 的进步主要源于其在视觉领域的训练。研究还发现,某些概念表示的方面似乎与感官能力相互独立,但其他方面似乎需要它们。
May, 2023
本文提出了基于具有体验认知语言学特征的表征和学习方法的自然语言理解系统架构,旨在利用隐喻推理和模拟的基础来提高自然语言理解系统的效率、可解释性和概括性。
May, 2020
研究发现现有的对话模型在处理比喻和比拟等修辞语言时存在很大的不足,提出利用外部资源将比喻语言转化为字面意思以提高模型鲁棒性的解决方案。
Oct, 2021
探索词语的意义以及儿童语言习得对语言理解模型的影响,重点关注在儿童语言学习环境中具体和抽象概念的知觉和行动能力,以及情感和认知与语言学习过程的关系,为类似于儿童环境下学习语言的语言学习代理提出一些要求。
Jul, 2023
尽管大型语言模型在人工智能研究中广泛使用,但其在模型具象问题上的探讨仍未得到充分挖掘,这使它们与感知直接影响物理动作的机器人具象系统相区别。本研究通过对人类关于语言基本空间构建模块的内隐直觉是否被大型语言模型有效捕捉来进行了调查。我们借鉴早期感知运动经验中发展的空间认知基础的见解,通过再现三个心理语言学实验来引导我们的探索。令人惊讶的是,模型输出与人类反应之间出现了相关性,揭示了在没有具体联系到具象经验的情况下的适应能力。值得注意的区别包括极化的语言模型反应和视觉语言模型中降低的相关性。本研究对于深入理解语言、空间经验和大型语言模型所进行的计算之间的相互作用做出了贡献。
Feb, 2024
本研究探讨了语言模型在理解比喻和比喻性语言方面的能力,并提出了新的语言理解任务,发现现有语言模型在理解非字面短语方面的表现还有待于进一步提升。
Apr, 2022
本文研究了两种非组合式比喻语言 (成语和比喻) 的解释,并提出了基于人类策略的知识增强模型,从而改善了区分和生成任务的表现,进一步缩小了与人类表现的差距。
Aug, 2021
该论文研究了自然语言模型是否能理解物理概念,并设计了一个基准测试 VEC 来探究视觉和具身概念。结果表明,视觉增强的语言模型,如 CLIP 和 BLIP,能够理解具身概念,而通过蒸馏方法将具身知识转移给 LMs 的性能也相当可观。
本文认为,融合智能体的行动选择问题和更抽象空间中的行动选择问题,并通过体现某些具体身体的情况和活动模式,采用更加严谨和实用的方式解决问题,而这并不特指身体运动或者遍历物理空间,同时论述了计算机程序在何种条件下,能比行走、说话机器人更加体现感知