May, 2023

通过可逆神经网络学习解释的非耦合语义空间

PDF
TL;DR本文提出了一种将 BERT-GPT2 自编码器的隐藏空间转换为更易分离的语义空间的方法，借助于基于流的可逆神经网络 (INN)，实验结果表明，这种方法能够比最新的最先进模型更好地实现语义的分离和可控性。
发现论文，激发创造
  • 一种可逆的解缠结表示网络，用于解释潜在表示

    提出了可逆解释网络，可以透明地应用于现有的神经网络架构，将原始表示转换为等效但可解释的表示，并通过仅草绘两个图像和无监督策略定义语义概念，以解释图像生成网络的分类和生成。

    Apr, 2020

  • 学习自然语言定义的解耦表示

    使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

    Sep, 2022

  • 几何检验的解缠绕拟符号解释自然语言推理

    本研究基于 VAE 框架，定量定性地评估了生成的潜在空间在向量操作和语义解缠方面的几何特性，实证结果表明潜在空间中的角色内容被解缠，这为通过操纵向量在潜在空间上的遍历来控制解释生成提供了机会。

    Oct, 2022

  • 从解耦的句法和语义空间生成句子

    本文提出了一种基于变分自编码器的模型，通过在模型的潜在空间中使用线性化树序列显式建模句法信息，从而生成来自分离的句法和语义子空间的句子，并能应用于无监督的释义生成和句法转换等任务，实验结果优于现有相关工作。

    Jul, 2019

  • 理解 CNN：利用 INN 解释深度表示及不变性

    为了了解神经网络不透明的黑盒表示法，本研究提出了一种基于 INNs 的方法来恢复任务特定和已学习不变量，将其变成易于理解的语义概念，并在不影响性能的情况下进行后期解释。

    Aug, 2020

  • 应用可逆神经投影进行无监督学习句法结构

    提出了一种新颖的生成模型，通过串联一个可逆神经网络和一个结构化的生成先验，在无监督的情况下联合学习离散的句法结构和连续的词表示，实现了高效的精确推断和边缘似然计算，并在两个任务中进行了实验评估。

    Aug, 2018

  • 多语言翻译中基于人工语言的知识共享学习

    本篇论文研究了多语言神经翻译的基石，即跨语言共享表示；论文通过将编码器输出离散化为一系列条目的方式，提高了模型的鲁棒性和泛化能力，并尝试使用一种人造语言来分析模型的行为，发现类似的桥梁语言能够增加知识共享。

    Nov, 2022

  • 从连续空间生成句子

    本文介绍一种基于 RNN 和 VAE 的生成模型，该模型可以显式地模拟句子的整体特征，并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子，能够插值生成连贯且新颖的句子，并用于填补缺失的词，同时探索了潜在句子空间的许多有趣属性。

    Nov, 2015

  • LlaMaVAE: 通过连续的潜在句子空间指导大型语言模型生成

    深度生成神经网络（如变分自动编码器）与大型语言模型相结合，得到了更好的文本生成控制，并在各种任务中表现出了优于现有模型的性能。

    Dec, 2023

  • 双语生成式 Transformer 用于语义句子嵌入

    本文提出了一种基于变分概率框架的深度潜变量模型，使用双语数据，利用拥有共性的语义信息与特性进行训练，使模型可以将并行语句进行源分离，得到隐含的语义向量，进而对单语数据进行预测。实验证明，该方法在无监督语义相似性评估方面的表现明显优于现有方法，并且还能在不适合使用简单词语重叠作为相似性指标的更难评估子集中发挥最大的作用。

    Nov, 2019