ACLJun, 2020

利用信息论指导改进解缠文本表示学习

PDF
TL;DR通过信息理论，提出了一种能够有效将自然语言进行解缠编码的新方法，产生了在内容和风格保留方面高质量的解缠表示，借助互信息的上界来度量风格和内容之间的相关性，实现对风格和内容嵌入成两个独立的低维空间。
发现论文，激发创造
  • 信息论视角下的解耦文本表示学习对抗性鲁棒性

    本文从可分离表示学习的角度解决了对抗鲁棒性的挑战，并设计了一个可分离学习网络来估计互信息，实验证明该方法在对抗攻击下显著优于代表性方法，强调舍弃非鲁棒性特征对于提高对抗鲁棒性至关重要。

    Oct, 2022

  • 非平行文本风格转换中的解耦表征学习

    本文提出了一个利用多任务和敌对目标进行辅助的简单但有效的方法，用于预测 label 和词袋模型，以此解决了语言模型中风格和内容的潜在变量发掘问题。同时有效地实现了风格迁移，并取得了较之前的最先进方法更好的迁移精度、内容保存和语言流畅度。

    Aug, 2018

  • 无对抗训练的多类型解缠

    本文提出了一种针对多类型解缠的统一分布控制方法，以达到风格 - 内容解缠和多类型解缠的效果，在两个数据集上进行实验评估其风格解缠效果和无监督风格转移性能。

    Dec, 2020

  • 学习自然语言定义的解耦表示

    使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

    Sep, 2022

  • 基于信息解缠正则化的文本分类连续学习

    本研究提出了基于信息分离的正则化方法，并引入了两个简单的辅助任务，用于在大规模基准测试中进行不同长度和序列的持续文本分类任务，证明了该方法的有效性。

    Apr, 2021

  • 通过互信息估计学习解缠表示

    本文研究学习分离表现形式的问题，提出一种基于互信息估计的模型，用于捕捉数据的共享和独占组件，并强制实现表现形式分离，在共享或独占部分基础上实现图像分类和图像检索，结果表明相对于基于 VAE/GAN 方法的最先进模型，本文提出的模型表现更加出色。

    Dec, 2019

  • 文本的无监督表示解缠：对合成数据集的评估

    通过从图像领域选择代表性的成功应用模型来突显在无监督设置中实现文本领域的表征分离的挑战，我们评估了这些模型在 6 个分离度量、下游分类任务和同伦方面的性能。我们提出了两个具有已知生成因素的合成数据集，以促进评估。我们的实验强调了文本领域中存在的差距，并说明了一些因素，如表征稀疏性（作为归纳偏差）或与解码器的表征耦合，可能会影响分离效果。据我们所知，我们的工作是关于无监督表征分离和文本交叉领域的第一次尝试，并为研究该方向的未来发展提供了实验框架和数据集。

    Jun, 2021

  • 学习分离表征的理论和评价度量

    该研究提出了一种理论上的度量方法来评估机器学习中所谓的 disentangled representations 的质量，这些方法可以让不同的机器学习模型公平地进行比较。

    Aug, 2019

  • 多属性文本风格转换

    本文提出一种控制文本数据中多种因素变异的模型，用回译机制代替对解缠缠绕的限制，实现对性别、情感、产品类型等多个属性的控制，并通过在潜空间中的池化运算使内容保留和风格变化之间的权衡更加精细，进一步拓展了去耦合框架的应用范围。

    Nov, 2018

  • 文本情感操作的解耦表示

    本论文通过使用解耦表示的方式，提出了一种算法来改变文本的情感而保留语义，可以用于文本操纵、情感分析和语义保留方面。

    Dec, 2017