使用三阶张量积学习推理
使用 Tensor Product Decomposition Networks(TPDNs)来近似现有向量表示,证明 RNNs 可以通过 Tensor Product Representations(TPRs)引导序列表示。
Dec, 2018
该研究使用构造的逻辑推理短句的语料库训练了一种递归模型,其使用的递归神经网络模型和相应的词向量表示已在各种越来越语义复杂的任务中实现成功,但几乎不知道它们是否能准确捕捉必要的语言意义方面。该模型学习到的表示形式在所有但少数情况下都很好地推广到新的推理模式,这一结果为掌握逻辑推理和学习表示模型的能力提供了希望。
Dec, 2013
Logic Tensor Networks 通过在第一阶逻辑语言上定义一个逻辑形式(Real Logic),该形式的公式在区间 [0,1] 上具有真值,并且具体定义在实数域上的语义高效地将推理知识与数据驱动的机器学习结合起来,并证明了通过使用谷歌的 tensorflow 原语将 Real Logic 实现在深度张量神经网络上,并在简单但有代表性的知识自动完成的实验中应用逻辑张量网络。
Jun, 2016
本论文致力于将符号逻辑推理的多步骤推理与神经网络的概括功能相结合。在文本和大型知识库中对实体和关系进行复杂推理。提出了三种重要的建模方法:(1)学习联合推理关系(2)使用神经注意力建模多个路径(3)学习在单个 RNN 中共享强度,使用我们的方法在实验任务中实现了 25%的错误率降低,推理中的错误率降低了 84%。
Jul, 2016
我们提出了一种基于最简单的张量网络(即张量列)的新型张量网络语言模型,称为 'Tensor Train Language Model'(TTLM)。通过将单词的张量积构建成指数空间,TTLM 表示句子,但以低维度方式计算句子的概率。我们证明了第二阶 RNN、递归算术电路(RACs)和乘积积分 RNN 的架构本质上是 TTLM 的特殊情况。对真实语言建模任务的实验评估表明,TTLM 的各种变体(即 TTLM-Large 和 TTLM-Tiny)优于具有低规模隐层单元的传统递归神经网络(RNNs)。
May, 2024
提出一种称为张量环表示的新型张量分解的网络结构,该结构采用低阶核张量的循环多线性乘积,通过低秩近似的方法来有效地学习张量环表示,可以在计算上更有效地执行基本操作,并且通过与现有的张量列网络相比实验结果表明,该模型更具表达能力和一致性信息。
May, 2017
本文研究了表示及物动词语义的三阶张量的学习,使用了基于张量的语义框架,并使用神经网络的标准技术学习张量,并在简单的二维句子空间上进行了选择偏好式任务的测试,并与竞争性基于语料库的基线进行比较,结果有希望,扩展这项工作超越及物动词,并针对更高维的句子空间,是机器学习社区需要考虑的有趣和具有挑战性的问题。
Dec, 2013
该研究提出了一种基于广义 EM 方法的 RNNNTP 方法,通过将其分为关系生成器和预测器,训练出同时具有高效性和可解释性的模型,实现了知识图谱的链接预测任务,并在性能上表现出与传统方法和当前强竞争方法相当的结果。
Mar, 2022
我们引入了一种能够学习含有连续随机变量的分布的新型张量网络生成模型,首先在矩阵乘积态的背景下推导出通用表达能力定理,证明了该模型家族能够以任意精度逼近任何充分平滑的概率密度函数;然后在几个合成和真实世界数据集上对该模型的性能进行基准测试,发现该模型在连续和离散变量的分布上学习和泛化良好;我们还开发了建模不同数据领域的方法,并引入了一个可训练的压缩层,发现在有限的内存或计算资源下,该层能够提高模型的性能。总体而言,我们的方法为量子启发式方法在生成学习这个快速发展领域的有效性提供了重要的理论和实证证据。
Oct, 2023
本文介绍了一种名为 Logic Tensor Networks(LTN)的神经符号形式和计算模型,支持通过引入一种称为 Real Logic 的可微分一阶逻辑表示语言进行学习和推理,并说明 LTN 提供了一种统一语言来规范和计算多个人工智能任务。
Dec, 2020