该研究提出了一种生成模型,展示了句法和语义的解耦合潜在表示,通过 Transformers 中注意力机制的归纳偏差生成文本,证明该模型对语法和语义具有明显的解耦效果,与有监督模型相比,具有较高的语法传递能力。
May, 2022
本文提出了一个框架,利用结构化图形模型在变分自动编码器(VAEs)的编码器中导出可解释的表达,使得在给定图形模型的结构限制下执行推理,并使用深度生成模型处理高维度的杂乱领域变得更容易。同时在无监督和半监督的情况下,通过变分目标进行端对端的学习。
Nov, 2016
本研究通过基于注意力的概率生成模型,建立了句子中不同句法角色的潜在变量之间的交互关系,并证明了在无监督情况下可以对句法角色进行拆分与控制,为无监督内容生成提供了一种有效的方法。
Jun, 2022
本研究利用变量自编码器 (VAE) 算法提出 DI-VAE 和 DI-VST 模型,结合无监督离散语句表示学习方法,以增强对话模型的解释性生成能力,并成功验证其在真实对话数据集上的有效性。
Apr, 2018
该研究提出了一种使用图形模型和深度神经网络架构的变分自编码器,能够学习到不同的表示形式,进一步实现半监督学习,其生成的能力和区分能力也得到了充分验证。
Jun, 2017
本研究旨在通过介绍一种认知方法,利用先前的知识驱动生成模型,实现在中尺度特征分离中调节潜在变量,使得深度学习的开放领域对话系统可以生成更高质量和更可解释性的对话。
Jul, 2022
本文提出了一种基于变分自编码器的模型,通过在模型的潜在空间中使用线性化树序列显式建模句法信息,从而生成来自分离的句法和语义子空间的句子,并能应用于无监督的释义生成和句法转换等任务,实验结果优于现有相关工作。
Jul, 2019
本文提出了一种名为 SDVAE 的半监督变分自编码器,其将输入数据转化为可解释和不可解释的特征表示,使用分类信息来规范可解释的特征表示,并使用强化学习来增强特征学习能力,此框架适用于图像和文本数据。
Sep, 2017
本文提出了一种基于梯度的注意力机制技术,用于解释变分自编码器(VAE)及其预测,该技术通过生成学习到的潜在空间的视觉注意力,可用于图像中异常的定位,并能融入模型训练来帮助改善潜在空间分解,这在 MVTec-AD 和 Dsprites 数据集上表现出了最先进的性能。
Nov, 2019
通过多任务学习或双编码器架构将分布语义特征和句法结构的编码分离成异构的潜空间,整合基于图和序列模型,通过低秩算子将多个专门的潜在表示注入解码器的注意机制,结果显示所提出的端到端 VAE 架构可以得到更好的潜空间整理,减轻标准 VAE 架构中发生的信息丢失,从而改善语言建模和下游生成任务的性能。
Nov, 2023