张量神经网络在回归问题中的高效方法

Jun, 2024

张量神经网络在回归问题中的高效方法

An Efficient Approach to Regression Problems with Tensor Neural Networks

Yongxin Li

TL;DR引入张量神经网络（TNN）来处理非参数回归问题，通过其独特的子网络结构，有效地促进变量分离，从而提高复杂未知函数的近似性；与传统的前馈网络（FFN）和径向基网络（RBN）相比，TNN 在近似准确性和泛化能力方面表现优异，尽管参数规模相似；我们的方法的一个关键创新是将统计回归和数值积分集成到 TNN 框架中，从而实现了与回归函数相关的高维积分的高效计算；此进展的意义扩展到更广泛的应用领域，特别是在需要精确高维数据分析和预测的场景。

Abstract

This paper introduces a tensor neural network (TNN) to address nonparametric regression problems. Characterized by its distinct sub-network structure, the TNN effectively facilitates variable separation, thereby

tensor neural network nonparametric regression variable separation approximation accuracy high-dimensional data analysis

发现论文，激发创造

张量神经网络：神经网络的泛化和模型压缩应用

该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

May, 2018

层叠张量神经网络在参数化偏微分方程的简化建模中的应用

张量神经网络 (TNNs) 结合了多线性代数和深度学习的成果，能够实现高维问题的高效降维模型。本文描述了一种将多个 TNNs 融合成一个更大网络的深度神经网络架构，旨在解决比单个 TNN 更广泛的问题类别。作者在具有三个独立变量和三个参数的参数型 PDE 上评估了该架构，其中三个参数分别对应一个 PDE 系数和描述域几何的两个量。STNN 在参数范围内提供了准确的降维解描述，并显示出对训练数据之外的参数值有意义的泛化证据。最后，尽管 STNN 架构相对简单且不依赖具体问题，但它可通过正则化来融合特定问题的特征，如对称性和物理建模假设。

Dec, 2023

因子增强的张量对张量神经网络

通过提取和总结有用的预测信息（由 “因子张量” 表示）并利用张量分解模型将其输入到时间卷积神经网络中，本研究提出了一种因子增强的张量对张量神经网络（FATTNN）。该方法能够处理复杂数据结构之间的非线性关系，并在预测准确性和计算成本方面优于传统的统计模型和常规的深度学习方法。通过利用张量分解模型，提出的方法在提高预测准确性的同时，大幅度减少了数据维度从而加快了计算速度。通过模拟研究和对三个公共数据集的实际应用，验证了提出方法的实证性能，数值结果表明，与基准方法相比，提出的算法在预测准确性方面取得了显著的增加，并且计算时间显著减少。

May, 2024

双神经网络回归是一种半监督回归算法

采用集成学习方法和循环约束的半监督 TNNR 神经网络回归算法能够在未标注数据的情况下利用已标注的锚点数据进行训练，预测两个不同数据点的目标值之间的差异以提高回归问题预测精度。

Jun, 2021

用 Tensor Train 递归神经网络进行视频分类

通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表达和先进模型的多种可能性。

Jul, 2017

基于张量的循环神经网络用于纵向数据分析

本文介绍了一种新型的神经网络，即 TRNN，它基于张量 Tucker 分解，可以直接使用张量时间序列数据作为输入，避免了使用向量化处理导致空间或纵向维度精确信息丢失的问题，具有更好的长期数据表示效果。

Aug, 2017

神经网络分布回归学习理论

通过全连接神经网络 (FNN) 建立分布回归的逼近理论和学习理论，针对概率测度作为输入变量的分布回归问题，建立了一种创新的神经网络框架，实现了定义在 Borel 概率测度空间上的泛函逼近理论，并通过两阶段误差分解技术推导了几乎最优的学习速率。

Jul, 2023

普适逼近和拓扑神经网络

本文介绍了一种基于 Tychonoff 拓扑空间的拓扑神经网络和利用 Borel 测度作为数据的分布式神经网络，证明了它们的正确性，并说明了它们是深度学习中 deep sets 的一种一般化。

May, 2023

关于适应循环神经网络用于系统辨识的研究

本文针对动态系统，提出了一种快速高效的迁移学习方法。作者首先使用可用的测量数据识别出一个名义 RNN 模型，然后为了应对系统动态变化导致的模型性能下降，使用 Jacobian Feature Regression 方法添加了一个校正项，该方法基于模型 Jacobin 的特征。另外还提出了一种非参数方法，扩展了最近的高斯过程与神经切向核到 RNN 情况，可以更加高效地处理大型网络或仅有少量数据点的情况。

Jan, 2022

自回归神经网张量网络：量子多体模拟中神经网络和张量网络的桥梁

提出了一种新的 Autoregressive Neural TensorNet (ANTN) 架构，该架构能够准确模拟具有规范化波函数的量子状态的样本，拥有更广泛的表现力和对称性，并能够应用于科学模拟和机器学习等领域。

Apr, 2023