Jun, 2021

文本的无监督表示解缠：对合成数据集的评估

PDF
TL;DR通过从图像领域选择代表性的成功应用模型来突显在无监督设置中实现文本领域的表征分离的挑战，我们评估了这些模型在 6 个分离度量、下游分类任务和同伦方面的性能。我们提出了两个具有已知生成因素的合成数据集，以促进评估。我们的实验强调了文本领域中存在的差距，并说明了一些因素，如表征稀疏性（作为归纳偏差）或与解码器的表征耦合，可能会影响分离效果。据我们所知，我们的工作是关于无监督表征分离和文本交叉领域的第一次尝试，并为研究该方向的未来发展提供了实验框架和数据集。
representation disentanglementunsupervised settingsynthetic datasetstext domainrepresentation sparsity
发现论文，激发创造
  • 学习解缠绕语音表示

    利用综合研究人工数据集 SynSpeech 来评估监督技术在语音表征解耦上的效果，弥补有限的语音数据集缺乏已知生成因素的问题，为现有最先进的语音表征学习方法提供全面的评估和框架，进一步推动这个相对较少探索的领域的发展。

    Nov, 2023

  • 关于非监督学习解耦表示及其评价的冷静观察

    本文提供了对无监督学习解开重要变动因素的最新发展的观点，旨在挑战一些常见的假设。本文首先从理论上证明了，无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着，通过对 8 个数据集进行超过 14,000 个模型的训练，本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性，但是没有监督的情况下，好的解开模型似乎无法被识别。此外，不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致，而且在估计上表现出系统性差异。最后，增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明，关于解开学习的未来工作应该明确归因于诱导偏见和（隐含的）监督的作用，研究解开表示的具体好处，并考虑到涵盖几个数据集的可重复的实验设置。

    Oct, 2020

  • 学习自然语言定义的解耦表示

    使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

    Sep, 2022

  • 从模拟到现实的感性偏见转移：一个新的解缠数据集

    本文提出了一个包含超过一百万张 3D 物体图像的数据集，以及在实验平台上运用机械臂移动物体的方式，以此来精确控制所有变化的因素，实现了不同解缠绕建模方法对模拟数据和真实数据的比对，研究结果表明模型选择是从模拟数据向真实数据传递信息的有效手段。

    Jun, 2019

  • 学习分离表征的理论和评价度量

    该研究提出了一种理论上的度量方法来评估机器学习中所谓的 disentangled representations 的质量，这些方法可以让不同的机器学习模型公平地进行比较。

    Aug, 2019

  • 无监督学习中解开表征的常见假设的挑战

    本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设，通过实验研究发现，不加监督训练的模型很难达到良好的分离效果，同时，增加分离度似乎不会降低学习的样本复杂度，未来的研究应该关注归纳偏置和 (隐式) 监督的作用，考虑在多个数据集上复现实验结果。

    Nov, 2018

  • 利用信息论指导改进解缠文本表示学习

    通过信息理论，提出了一种能够有效将自然语言进行解缠编码的新方法，产生了在内容和风格保留方面高质量的解缠表示，借助互信息的上界来度量风格和内容之间的相关性，实现对风格和内容嵌入成两个独立的低维空间。

    Jun, 2020

  • 无自编码的无监督解缠的陷阱和未来方向

    本文研究基于对比学习的正则化方法来实现大规模数据集的非监督式解缠表示学习，并分析了不同正则化方法的利弊与下游任务性能表现。

    Aug, 2021

  • 度量解缠性：指标综述

    本文综述了学习因素分离和表示在人工智能中的重要性，提出了影响因素分离度量的三个家族，即基于干预、基于预测和基于信息的，通过实验和分析揭示了具有因素分离特性的表示的属性之间的关系，并提供了衡量因素分离的指导方针。

    Dec, 2020

  • 从相关数据中学习分离表示

    本文研究了因果变量在相关数据上的行为并分析了最主要的解缠方法在大规模实证研究（包括 4260 个模型）中的表现，结果显示数据集中系统性引入的相关性正在被学习并反映在潜在表示中，这对于解缠的下游应用如公平性有重要的影响，同时呈现了如何通过训练期间的弱监督或使用少量标签的预训练模型的后修复来解决这些潜在的相关性。

    Jun, 2020