ACLJun, 2017

神经序列预测中的生成桥接网络

PDF
TL;DR本文提出了一种新的序列预测模型 —— 生成式桥接网络 (GBN)，GBN 引入了一个桥接模块来辅助生成模型的训练，将点预测扩展到一个基于条件概率的桥接分布上，并最小化生成模型与桥接分布的 KL 散度，结果表明，针对语言模型、抽象文本摘要等任务，我们提出的 GBN 模型均具有显著的性能提升。
发现论文，激发创造
  • 使用条件序列生成对抗网络提升神经机器翻译

    该论文提出了一种将 GANs 应用于 NMT 的方法，其通过生成对抗网络实现机器翻译任务中句子的生成，并使用 BLEU 评估模型表现，实验证明该方法在英德和中英翻译任务上均优于传统的 RNNSearch 和最新的 Transformer 模型。

    Mar, 2017

  • 桥接 - GNN：有效知识转移的知识桥接学习

    数据需求过大的难题给深度学习模型带来了挑战，我们提出了一种基于图神经网络的知识桥接学习方法（KBL），通过构建桥接图和样本间的知识传递，KBL 不受强假设限制且对源数据的噪声具有鲁棒性，实验证明 Bridged-GNN 方法在有限数据场景中显著提升了性能。

    Aug, 2023

  • GSNs：生成随机网络

    提出了一种新的基于马尔科夫链的生成随机网络（GSN）框架作为概率模型的训练原则，并通过具有反向传播的梯度来学习该链的转移算子，该理论提供了关于依赖网络和广义伪似然的有趣解释，试验结果验证了该理论在两个图像数据集中的有效性，并且在训练时不需要层次预训练。

    Mar, 2015

  • 基于梯度的网络输出约束推断

    本文介绍了一种基于梯度的推理方法，用于神经网络的去结构化预测问题，并在句法分析、语义角色标注和序列转换三个任务上进行了测试，该算法不仅满足了约束条件，而且提高了准确性。

    Jul, 2017

  • 使用网格束搜索进行序列生成的词汇约束解码

    介绍了 Grid Beam Search 算法，可以在任何生成序列的模型中使用，通过词汇约束来扩展 beam 搜索，并且在进行交互式预测翻译和领域自适应翻译实验中表现出良好的性能提升。

    Apr, 2017

  • 生成式神经机器翻译

    介绍了生成神经机器翻译（GNMT）的概念，通过添加潜在变量提高翻译模型的语义建模能力，从而实现跨语言翻译，半监督学习以及降低过拟合的效果。

    Jun, 2018

  • 基于反向传播训练的深度生成随机网络

    该论文提出了一种新的概率模型训练原则 —— 基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。

    Jun, 2013

  • 基于分解的时间 sigmoid 置信网络于序列学习的应用

    本文提出了一种基于深度条件生成模型（DCGM）的通用框架，能够同时学习多个序列之间的时序依赖关系，并通过引入三维权重张量来捕捉附加信息和序列之间的乘法交互作用。当没有侧信息时，该模型可用于半监督学习，实现鲁棒的序列分类。实验结果表明该方法在序列数据的预测和分类性能方面取得了最先进的成果，并且具有控制风格转换和融合的能力。

    May, 2016

  • 用生成匹配网络实现生成模型的快速适应

    我们开发了一种基于 “匹配网络” 的新生成模型 Generative Matching Network，该模型通过在额外输入数据集的条件下学习新的概念，无需使用广泛推理过程进行训练或适应，且在可用的更多附加数据的情况下显着提高了预测性能，优于现有的最先进条件生成模型。

    Dec, 2016

  • 带有 Gumbel-Greedy 解码的神经机器翻译

    本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。

    Jun, 2017