本文通过自然语言推理任务探讨提供语言模型与既有表意图形（glyph）信息相结合的多模态特征，在语义表示学习中获得更好的性能，表明在使用表意文字的语言中，特别是对于使用频率较低的词，使用多模态嵌入有显著效果。

Nov, 2022

本文从几个角度综合了各种主张，提出了一种独特的语言学派，将数学几何观点引入到语法中，描述了一种基于几何学的机制，用于解释人类语言里的显著特征，并提出了一种新型的匹配方法，利用代表单词的标记链来形成句子，并匹配语法词序。最终得到的二维和三维结合体为以往传统语法体系难以准确描述的语言规则提供了一种新视角。

Mar, 2023

人类语言的一个特点是组合性 —— 通过重复使用相对较小的基本单元，创建出较为庞大、越发复杂的结构。本文探索了语言中组合性反映了人类对符号系统中表现效率的归纳偏见这一观点。我们使用先进的库学习和程序合成技术，开发了一个计算框架来发现一种写作系统中的结构。计算框架在中国的写作系统中发现了已知的语言结构，并揭示了系统在表现效率的压力下向简化方向演化的过程。我们演示了如何通过利用学到的抽象和压缩的图书馆学习方法，揭示出构成人类认知中组合结构创造的基本计算原则，并对有效沟通系统的演化提供更广泛的见解。

May, 2024

这篇文章提出了一种普适的幽默认知机制，不仅限于口头交流，并且建立在常规约束和不协调解决理论框架的基础上，通过找寻数据集合之间的抽象对应关系进行研究，以此解释了幽默的产生和表达方式。

Oct, 2023

本文将意义基础理论与 AGI 的数学形式结合起来，旨在提供一种全面的有关意义、交流和符号出现的机制性解释。此次综合研究在 AGI 和关于语言本质的更广泛辩论中具有重要意义，它将语用学、逻辑真值条件语义学、Peircean 符号学和赋能认知的可计算模型统一起来，涉及传统上难以进行机制性解释的现象。通过考察一台机器生成有意义话语或理解人类意义的条件，我们确定了目前的语言模型并不具有与人类相同的意义理解，也不打算表达任何我们可以归于它们响应的意义。为了解决这个问题，我们提出了模拟人类情感和优化模型以构建弱表示的解决方案。我们的发现揭示了意义和智能之间的关系，并探讨了如何构建能够理解和表达意义的机器。

Apr, 2023

本文研究语义系统的效率问题，使用基于信息瓶颈原理的文化演化模型，结合迭代学习和通信，实现了神经网络计算颜色命名系统，结果表明这种模型是高效的，且与人类颜色命名系统相似。同时还发现，仅靠迭代学习或仅靠通信无法实现相同的效果。

May, 2023

今天的大型语言模型 (LLMs) 可以生成连贯的，符合语法的、有意义的文本段落，但在如人类思维一样的实际语言使用中，大多数测试需要功能语言能力，从认知神经科学的证据中，我们显示出 LLMs 显示出令人印象深刻（虽然不完美）的正式语言能力的任务，但在需要功能能力的许多测试中失败了。

Jan, 2023

大型语言模型，如 GPT-4，在广泛的基于语言的任务中取得了显著的熟练度，这些任务中有些传统上与人类智能的标志相关联。这引发了关于我们能否将任何语言模型归属于语言或认知能力的程度的持续争议。本文是两篇相关论文的第一部分，旨在为哲学家提供关于语言模型的介绍，并对其与哲学、认知科学、人工智能和语言学领域中经典辩论的重要性进行主观调查。我们涵盖的主题包括语言的组成性、语言习得、语义能力、基础、世界模型和文化知识的传输。我们认为，语言模型的成功挑战了人们对人工神经网络的一些长期假设。然而，我们还强调了进一步的实证研究以更好地了解它们的内部机制的需要。这为第二部分的相关论文提供了基础，第二部分将探讨关于语言模型最新发展引发的新的实证方法和哲学问题。

Jan, 2024

本文讨论多模态处理的最新进展，探讨了多模态信息流和不同的多模态表示方法，讨论了多模态基础对于语言处理任务的益处和挑战。特别着重研究动词的多模态基础，对语言的组成能力起着重要作用。

Jun, 2018

本文从计算认知语言学的角度探讨了多模态语义表示中的基础问题，注释和分析了五个感知属性：可操作性、感知显著性、物体数量、凝视引导和生态学生态位关联。我们对来自 Flickr30k 数据集的选定图像进行了探究性分析和统计建模，发现了在构建过程中，观看者将情境意义和可操作性与多模态语义统合到一起，而这些因素被巩固为包含视觉和文本元素的图像文字数据集中的影像字幕。本研究显示情境意义和可操作性基础对于理解系统生成适当回应至关重要，并有潜力推动人类对不同情境下的构造的理解。

May, 2023