The representation of arbitrary data in a biological system is one of the
most elusive elements of biological information processing. The often
logarithmic nature of information in amplitude and frequency presented to
biosystems prevents simple encapsulation of the information containe
我们考虑时齐动力系统的一般类别,包括离散和连续性,并研究从观测数据中学习状态的有意义表示的问题。这对于学习系统的前向传递算符非常关键,从而可以用于预测未来状态或可观测量。该表示通常通过神经网络参数化,并通过优化类似于规范相关分析(CCA)的目标函数来学习。然而,与 CCA 不同,我们的目标避免矩阵求逆,因此通常更稳定且适用于挑战性的情况。我们的目标是 CCA 的一个紧松弛,并通过提出两种正则化方案进一步增强,一种鼓励表示的分量正交而另一种利用 Chapman-Kolmogorov 方程。我们将该方法应用于具有挑战性的离散动力系统,讨论其相对先前方法的改进,并应用于连续动力系统。
本文介绍了一种表达能力强且带有层次结构约束的 Deep Component Analysis 模型,并提出了基于递归交替方向神经网络(ADNNs)的可微优化算法实现。通过将前馈神经网络解释为模型中推理的单次迭代近似,不仅提供了一种新的理论视角,还提供了一种利用先验知识约束预测的实用技术。在实验中,我们证明了该模型在许多任务上的性能改进,包括单图像深度预测与稀疏输出约束。