本文是关于自由能原理的计算模型和机器学习中的应用尝试,提出了使用经典的神经网络模型 Helmholtz 机连接自由能原理和机器学习,并通过实验验证了假设。
Jun, 2023
介绍了自由能原理与活动推断关键思想,并利用基于代理的模型进行模拟实验,以进一步探讨其在一维离散世界预测中的应用。
Mar, 2015
本文介绍了 Active Inference (AIF) 作为 Free Energy Principle (FEP) 的一个结果,并给出了一个利用特定自由能泛函的局部版本的 FEP,使其适用于任意图形模型,为构建具有限制的平衡图提供了一种新的途径。同时,还介绍了利用 CFFG 实现 AIF 的先前算法,并介绍了一种允许 AIF 代理的直接策略推断的新算法,以解决长期以来阻碍 AIF 在工业应用中发挥作用的扩展问题。
本文介绍了自由能原理在大脑科学中的应用,结合视知觉、机器学习以及统计热力学等领域的理论,提供了一种生物学上可行的自由能实现方案的数学评估及其物理结构,旨在揭示自由能原理实现方案对大脑科学的重要性。
May, 2017
本文回顾了近年来自然语言处理领域的语言模型的发展,并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案,旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。
Oct, 2021
过去四十年中,对实证式翻译过程研究(TPR)模型的发展与评估进行了努力,但一个全面的框架仍然难以捉摸。本文追溯了 CRITT TPR-DB 传统中实证 TPR 的演变,并提出了自由能原理(FEP)和主动推理(AIF)作为模拟深度嵌入式翻译过程的框架。它介绍了量化关联理论(关联性,s 模式,i 模式)基本概念的新方法,并建立了它们与监控模型的关系,将关联性最大化视为最小化自由能的特例。FEP/AIF 提供了一个数学严谨的基础,能够对不同时间轴上展开的嵌入式翻译过程进行建模。这一框架为未来的预测性 TPR 研究开辟了令人兴奋的前景,有望丰富我们对人类翻译过程的理解,并为翻译研究和认知架构设计作出宝贵的贡献。
Aug, 2023
人类语言是一种独特的自然界沟通方式,其系统性在于信号可以分解为词汇并通过一种规则方式组合成句子,且通过最小化过剩熵的方式实现自然语言一致性,进而达到高效的沟通和信息处理。
May, 2024
我们将 Merge 和 Minimalism 的概念扩展到了一个语法 - 语义接口的代数模型上,并展示了理论物理中归一化方法(提取有意义的物理值)在从句法表达中提取意义方面的相关性。同时,我们展示了这个公式与语义的计算模型之间的关系,并回答了关于大型语言模型目前对生成语言学的影响的一些争议。
Nov, 2023
本文提出一种基于编程语言的过程式英语句法编码方案,其中功能词和内容词作为众多句子的直接成分,借鉴面向对象编程中接口实现的思想得到实现,经过语言学和神经语言学的实证检测和验证,证明了这种基于算法的句法结构的有效性以及其可能推动句法理论的范式转变。
May, 2022
本文从几个角度综合了各种主张,提出了一种独特的语言学派,将数学几何观点引入到语法中,描述了一种基于几何学的机制,用于解释人类语言里的显著特征,并提出了一种新型的匹配方法,利用代表单词的标记链来形成句子,并匹配语法词序。最终得到的二维和三维结合体为以往传统语法体系难以准确描述的语言规则提供了一种新视角。
Mar, 2023