通过神经科学的启发，我们开发了信息论层次感知（ITHP）模型，它利用了信息瓶颈的概念。与大多数在神经网络中相同并一致地纳入所有模态的传统融合模型不同，我们的模型将一个主要模态设计为信息路径中的侦测器，以蒸馏信息流。我们提出的感知模型专注于通过在潜在状态与输入模态状态之间最小化互信息，以及在潜在状态与其余模态状态之间最大化互信息来构建一种有效且紧凑的信息流。该方法导致紧凑的潜在状态表示，保留相关信息并最小化冗余，从而大大提高了多模态表示学习的性能。在 MUStARD、CMU-MOSI 和 CMU-MOSEI 数据集上的实验评估表明，我们的模型在多模态学习场景中一贯蒸馏关键信息，优于最先进的基准模型。在 CMU-MOSI 数据集上，ITHP 在多模态情感二分类任务的所有评估指标（二元准确率、F1 分数、平均绝对误差和皮尔逊相关性）上均超过了人类水平的性能。

Apr, 2024

非还原主义意识理论中信息方法和信息意识理论对外部世界和大脑反映的作用的研究及应用。

Dec, 2023

使用预测信息作为动态系统控制器参数的推动力以实现高维机器人系统的协同控制和收敛行为。

Jan, 2013

通过信息融合和处理各种来源或方式的信息对于获取综合准确的现实世界感知至关重要。我们从神经科学中获得灵感，开发了基于信息瓶颈概念的信息论层次感知（ITHP）模型。与大多数旨在将所有模态作为输入的传统融合模型不同，我们的模型将主模态定为输入，而其余模态则充当信息传递途径中的探测器。我们的感知模型专注于构建有效且紧凑的信息流，通过在潜变量状态与输入模态状态之间最小化互信息并在潜变量状态与其余模态状态之间最大化互信息之间取得平衡。这种方法导致紧凑的潜变量表示，保留相关信息并尽量减少冗余，从而显著提高了下游任务的性能。对 MUStARD 和 CMU-MOSI 数据集的实验评估表明，我们的模型在多模态学习场景中持续提炼关键信息，优于业界最先进的基准。

Sep, 2023

通过交替干预训练的方法，将神经模型与因果模型进行对齐并将其纳入训练，实现在保留数据驱动学习能力的同时较好地表达因果结构，并在结构视觉、语言导航和自然语言推理任务上通过与多任务训练目标和数据增强的对比达到较好的效果，制备了较好的解释性神经模型。

Dec, 2021

评估人工系统是否存在意识的问题日益成为关注焦点，而严格的心理测量框架对于评估大型语言模型在此方面的重要性至关重要。本文通过将人类和动物大脑的信息耦合、人类认知发展、新兴能力和心理表征发展与大型语言模型的类似现象进行比较，以心理测量智力的方式，间接估计意识体验的程度。相较于广泛的科学与形而上学意识理论，本文认为所有系统在心理测量上拥有一定程度的意识，智力的心理测量可能用于衡量异类系统（无论是人工还是人类）之间意识体验的相对相似性。

Aug, 2023

该研究介绍了 ITE，一款免费且开源的 Matlab/Octave 工具箱，能够在多个平台上估算熵、互信息、差异、关联度、交叉量和分布内核的多种变体。该工具箱支持多种估算技术的组合，并可轻松构建和嵌入新的信息理论估算器，并可立即应用于信息理论优化问题中。此外，ITE 还包括一个原型应用，它能够在信号处理中自主分析子空间等领域得到扩展的核心问题类中应用。

May, 2014

本文旨在通过提供收敛所需的全部条件的理论证明，研究在神经网络训练领域中，这种收敛的理论先决条件是否适用。然后，通过在单层神经网络上使用 IRIS 数据集进行实验验证这些条件。

Apr, 2024

本文提出改进的信息传输速率定义，使用图论建立无记忆通道的不对称性和信息传输速率增益之间的关系。使用两个著名的 SSVEP 数据集对比两种目标识别方法的表现，结果表明，感知到的信息传输速率受通道的不对称性影响，不受输入分布变化的影响。文章进一步提出一种二元分类容量的算法，并探讨将该算法推广到集合技术的可能性，旨在提高人脑与计算机系统的密切协作，增强底层通信资源的效率。

Jan, 2023

本文探讨了意识和智能之间的联系，发现意识与人类领域普适智能有密切关系。对比三种当代意识功能理论与人类的认知能力，作者将结论应用到人工智能领域，提出了一种将三种理论相结合的可实现的模型，并以人类的心理时间旅行为例，提出进行人工智能研究的前景和目标。

Mar, 2022