学习自然语言定义的解耦表示
本文提出一种基于变分自编码器(Variational Autoencoder)的新方法来实现对自然语言处理(NLP)系统的解释,并将文本语言特征建模为离散变量以实现学习解缠编码表示,实验结果显示该方法在多个基准测试和一个文本风格迁移后处理应用中表现优异且优于基于连续和离散变量的基准模型。
Sep, 2021
本研究基于 VAE 框架,定量定性地评估了生成的潜在空间在向量操作和语义解缠方面的几何特性,实证结果表明潜在空间中的角色内容被解缠,这为通过操纵向量在潜在空间上的遍历来控制解释生成提供了机会。
Oct, 2022
通过将标准的高斯变分自编码器(VAE)替换为量身定制的分类变分自编码器,我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题,并作为解耦表示的高效先验。我们提供了分析和经验证据表明,离散 VAE 在学习解耦表示方面的优势。此外,我们引入了第一个偏向于解耦表示的无监督模型选择策略。
Jul, 2023
通过使用变分自动编码器,监督潜在表示仅然可达到好的结果,然而基于对抗学习和互信息最小化的辅助目标可以提供额外的脱缰效果,以此来将否定,不确定性和内容的表示相分离。
Apr, 2022
本研究通过基于注意力的概率生成模型,建立了句子中不同句法角色的潜在变量之间的交互关系,并证明了在无监督情况下可以对句法角色进行拆分与控制,为无监督内容生成提供了一种有效的方法。
Jun, 2022
本文提出一种分解的分层变分自动编码器,能够在无监督的情况下从序列数据中学习分离和可解释的表征。该模型基于多尺度信息的分层结构,实现了针对不同潜变量集合的序列依赖先验和序列无关先验。通过在两个语音语料库上的实验,表明该模型能够通过操纵不同的潜变量集合来转换说话人或语言内容,并在说话人验证和自动语音识别任务中优于基线模型。
Sep, 2017
本文提出了一种将 BERT-GPT2 自编码器的隐藏空间转换为更易分离的语义空间的方法,借助于基于流的可逆神经网络 (INN),实验结果表明,这种方法能够比最新的最先进模型更好地实现语义的分离和可控性。
May, 2023