KATE: 面向文本的 K - 竞争自编码器
本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法,被称为 DAAE,该方法可以在维持生成质量的同时,提高模型中的潜在空间几何性,从而实现了通过简单潜在向量算术进行全零文本风格转换。
May, 2019
基于变换器结构的核弹性自编码器(KAE)是一个自我监督的生成模型,通过修改的最大均值偏差和加权重构函数,解决了同时实现有效生成和准确重构的长期挑战,并在分子设计中取得了显著的多样性和近乎完美的重构,超越了之前的分子生成模型。KAE 实现了条件生成,在受限优化中基于波束搜索进行解码,表现出了优于训练数据集中所有现有候选物的最新性能。除了分子设计,我们预计 KAE 可以应用于解决一系列生成问题。
Oct, 2023
通过引入时间一致的 Koopman 自编码器(tcKAE),本文解决了模型训练数据有限和含噪声时 KAE 方法效果不佳的问题,并在简单摆动、动力学等多个测试案例中实证了 tcKAE 模型相较于现有模型的优越性能。
Mar, 2024
本研究提出了一种自编码器体系结构,可以用于多纹理合成。该方法依赖于同时考虑二阶神经统计和自适应周期性内容的紧凑编码器和生成器,将图像嵌入一个紧凑和几何一致的潜空间,在这个空间内实现纹理表示和其空间组织的解耦。实验结果表明,该模型在视觉质量和各种纹理相关指标方面优于最先进的前馈方法。
Feb, 2023
通过引入 Language-Quantized AutoEncoder (LQAE) 这一基于无监督方法的模型,利用预训练语言模型(如 BERT,RoBERTa)来解决大型语言模型缺乏图像感知的问题,并有效地将图像和文本信息进行对齐,通过 LQAE 学习将图像编码为一系列文本符号,使 LQAE 能够将不对齐的图像用于多模态任务,以及使用 BERT 文本特征对图像进行线性分类。
Feb, 2023
本研究提出使用具有递归架构的卷积网络对文本进行自动编码,以实现可扩展和均匀的字节级文本生成。研究表明,从固定长度表示进行非顺序文本生成不仅可行,而且比循环神经网络获得了更好的自编码结果。
Feb, 2018
本文提出一种基于自学习方法的预训练自编码语言模型,该模型通过训练编码器输出高质量的文本序列嵌入来解决解码器可能利用语言模式的问题,实验结果表明该模型能够显著提高稠密检索模型的效果和少样本学习能力。
Feb, 2021
提出了一种基于知识图谱自编码器(KGAE)的无监督学习模型,实现医学图像和文本信息自动关联。在医学报告生成中,KGAE 的性能达到目前同类模型的最高水平。
Nov, 2021
本文提出了一种轻量级的卷积神经网络结构,可用于创建句子的定长向量嵌入表示,可应用于构建自然语言处理系统,包括对话代理,经过优化的卷积神经网络架构可显著缩短学习时间,减少参数数量,提高自编码准确率,并通过 SentEval 基准套件评估所建模型所创建的表示,并表明这可以作为流行的词袋表示形式的更好的但资源要求较低的选择。
Aug, 2018
本文提出了一种名为 Cycle-Consistent Adversarial Autoencoders (CAE) 的神经网络方法,用于无监督文本风格转换,并且结合对抗生成网络进行风格转换,通过循环一致性约束保持内容的完整性,实验表明该方法对于风格转换和内容的保留在多个自动评估指标和人工评测中都超过了强基线模型。
Oct, 2020