ICMLAug, 2020

LowFER: 针对链接预测的低秩双线性池化

PDF
TL;DR本文提出了一种因子化双线性汇聚模型，与现有模型相比具有更好的融合实体和关系的效率，并且可以控制模型复杂度，取得了实际数据集上的最先进的表现。
knowledge graphlink predictionbilinear pooling modelfactorizedtucker decomposition
发现论文，激发创造
  • 细粒度分类的低秩双线性池化

    通过将局部特征的二阶统计合并为高维双线性特征，使用低秩双线性分类器对协方差特征进行表示，同时提出分类器共分解方法进一步压缩模型，实现细粒度分类任务中公共因子和分类特定项的紧凑表示，可以在保持和超越已有方法精度的情况下获得数量级更小的模型。

    Nov, 2016

  • 基于双线性模型的多关系链接预测

    本文研究了多关系链接预测和知识图谱完成的双线性嵌入模型，探讨了文献中各种双线性模型的表达能力和相互关系，证明了多个嵌入约束条件的双线性模型可以表示每个关系集合，并提出了多个嵌入关系级联模型达到最先进的预测性能的证据。

    Sep, 2017

  • 低秩双线性池化的哈达玛积

    该研究提出了一种低秩双线性池化的方法以提高多模式学习的效率，并在可视化问答任务中取得了优异的结果，具有更好的经济性特性。

    Oct, 2016

  • 层次双线性池化用于细粒度视觉识别

    本文提出了一种新颖的模型，使用交叉层双线性池化和分层双线性池化框架来帮助解决细粒度视觉识别的问题，同时在细粒度识别数据集上达到了最先进水平。

    Jul, 2018

  • 紧凑双线性池化

    本研究提出两种紧凑的双线性表示方法，与完整的双线性表示具有相同的判别能力，但仅具有几千个维度。这些紧凑的表示通过对双线性池化的核分析导出，为其他紧凑池化方法的研究提供了平台。实验证明，提出的表示方法对于多个数据集的图像分类和少样本学习都具有实用价值。

    Nov, 2015

  • 基于分解二次模型的图像识别

    本文提出基于因式分解的二次双线性层来建模 CNN 中的的成对特征交互，通过将非线性结构的复杂性纳入 CNN 中，使我们的 FB 层只需线性增加参数并具有可负担的计算成本，并采用 DropFactor 这种特殊的方法来进一步降低 FB 层的过度拟合风险，在多个数据集上证明了该模型的有效性，其中包括 CIFAR-10，CIFAR-100 和 ImageNet，较其他各种最先进的深度模型表现出更优越的结果。

    Nov, 2016

  • TuckER：用于知识图谱补全的张量分解

    TuckER 是一种基于 Tucker 分解的二元张量表示的线性模型，在标准的链接预测数据集上表现优于其他最先进的模型，并作为更复杂模型的强有力基准，是一种完全表达模型，可以作为先前引入的一些线性模型的特例来看待。

    Jan, 2019

  • 在知识库学习和推理中嵌入实体和关系

    通过基于神经嵌入的方法，学习知识库中实体和关系的表示，并将大多数现有模型统一到一个学习框架下，比较各种嵌入模型在链接预测任务上的表现，其中一个简单的双线性公式在任务中取得新的最优结果；此外，利用此模型可以挖掘逻辑规则，其中包含组合推理，并且此方法在 Horn 规则挖掘方面表现优秀。

    Dec, 2014

  • MoNet: 基于矩特征的嵌入式神经网络

    该文章提出了一种用于视觉任务的 MoNet 结构，它使用了二阶池化的双线性池化方法并通过子矩阵平方根层来解决维度问题，结合矩阵规范化和其他阶信息，实验结果表明，MoNet 在三个公开的图像分类数据集上表现良好，可实现与具有比其 96% 更少维度的编码特征相当的性能。

    Feb, 2018

  • 基于先前双线性模型的知识图谱补全

    基于双线性模型的知识图谱完成是一种强大且广泛使用的方法。本研究发现了一种名为 “身份法则” 的先验属性，该属性无法被双线性模型捕捉，这限制了它们对知识图谱特征的综合建模能力。为解决这个问题，我们引入了一种名为 “Unit Ball Bilinear Model” 的解决方案，该模型通过最小约束来最大限度地减少无效学习，并在理论上和性能上取得了提升。实验证明 UniBi 模型了先验属性，并验证了它的可解释性和性能。

    Sep, 2023