ICLRDec, 2018

循环神经网络隐含地实现张量积表示

PDF
TL;DR使用 Tensor Product Decomposition Networks（TPDNs）来近似现有向量表示，证明 RNNs 可以通过 Tensor Product Representations（TPRs）引导序列表示。
recurrent neural networkstensor product representationscompositional structuresentence representation learningtpdns
发现论文，激发创造
  • 使用三阶张量积学习推理

    本文采用递归神经网络与张量积表示相结合的方法，学习顺序数据的组合表示并在多个简单的自然语言推理任务中取得显著优于最新先进模型的表现，同时证明该方法的泛化性能优于现有最新先进技术。

    Nov, 2018

  • 使用语法可解释表达式的问答

    使用承载基本语言学概念的 Tensor Product Recurrent Network (TPRN) 架构，在深度神经网络 QA 任务中学习内部表示，并成功解释了单词的语义含义与语法角色，从而证明了模型可以从未标注的文本中学习语法。

    May, 2017

  • 利用环结构网络学习高效张量表示

    提出一种称为张量环表示的新型张量分解的网络结构，该结构采用低阶核张量的循环多线性乘积，通过低秩近似的方法来有效地学习张量环表示，可以在计算上更有效地执行基本操作，并且通过与现有的张量列网络相比实验结果表明，该模型更具表达能力和一致性信息。

    May, 2017

  • 基于离散字典的结构化表示学习分解层

    通过引入离散字典分解层，我们改进了 Tensor Product Representation（TPR）框架，增强了神经网络的分解能力，提高了各种基于 TPR 的模型的系统推广能力。

    Jun, 2024

  • 基于张量的循环神经网络用于纵向数据分析

    本文介绍了一种新型的神经网络，即 TRNN，它基于张量 Tucker 分解，可以直接使用张量时间序列数据作为输入，避免了使用向量化处理导致空间或纵向维度精确信息丢失的问题，具有更好的长期数据表示效果。

    Aug, 2017

  • 使用张量环压缩循环神经网络以进行动作识别

    提出了利用低秩张量环分解重新构建输入到隐藏层变换的紧凑型 LSTM 模型 TR-LSTM，不仅在处理高维输入数据（如视频和文本）方面更具可扩展性和可训练性，而且其良好的稳定性和与其他最先进竞争对手相比的较高性能进一步表明了它在序列数据建模中的潜力。

    Nov, 2018

  • 压缩循环神经网络的张量分解

    本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

    Feb, 2018

  • 用 Tensor Train 递归神经网络进行视频分类

    通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表达和先进模型的多种可能性。

    Jul, 2017

  • 使用张量列压缩循环神经网络

    本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

    May, 2017

  • 大数据处理的新方法：张量网络和张量分解

    本研究主要介绍了张量网络、张量分解、多元分析，低秩逼近以及大数据分析等多个方面，并讨论了其在异常检测、特征提取、分类、聚类分析、数据融合和集成、模式识别、预测建模、回归、时间序列分析和多元分析等领域中的潜在应用。

    Mar, 2014