Sep, 2022

带有往返翻译的向量转文本

PDF
TL;DR本文提出了一种名为 vec2text models 的模型， 它可以从有限的，凸的，行为良好的控制空间生成任意自然语言文本，并且可以通过强化学习在向量空间中做出语义决策。作者通过改进 Transformer 模型并利用自动编码目标函数训练它，实现了一个 vec2text 模型，其表现出普适性、多样性、流畅性和语义结构这 4 个特性。并且，作者通过大量实验证明了这个 vec2text 模型的有效性，并且表现超越了标准的自编码器和降噪自编码器。
发现论文，激发创造
  • Vec2Vec: 一种高保真度文本嵌入转换的紧凑神经网络方法

    本研究提出了一个名为 Vec2Vec 的网络模型，它可以将开源的 768 维 MPNet 嵌入转换为 1,536 维的 text-ada-002 嵌入，其平均余弦相似度可达 0.932，并且可以用于以更低成本、更高效的方式进行搜索和数据隐私保护。

    Jun, 2023

  • 双语生成式 Transformer 用于语义句子嵌入

    本文提出了一种基于变分概率框架的深度潜变量模型，使用双语数据，利用拥有共性的语义信息与特性进行训练，使模型可以将并行语句进行源分离，得到隐含的语义向量，进而对单语数据进行预测。实验证明，该方法在无监督语义相似性评估方面的表现明显优于现有方法，并且还能在不适合使用简单词语重叠作为相似性指标的更难评估子集中发挥最大的作用。

    Nov, 2019

  • 理解和缓解 Vec2Text 对密集检索系统的威胁

    该研究论文探讨了 Vec2Text 的潜在威胁和强化方法，关注于密集检索系统中的嵌入模型、隐私问题和转换技术。

    Feb, 2024

  • DeepVecFont-v2: 利用 Transformer 对字体进行高质量的向量合成

    本文提出了一种基于 Transformers 的增强型 DeepVecFont 方法，通过使用放松表示方法以处理长序列数据，并使用采样辅助点对生成的 Bézier 曲线或线条进行精确定位，最终通过一种基于上下文的自我完善模块解决 DeepVecFont 所存在的问题，提高了英文和中文复杂结构和各种风格的矢量字体综合表现。

    Mar, 2023

  • Collocation2Text: 俄语中从指南短语控制生成的文本

    该论文探讨了一种用于俄语的自动可控文本生成的插件式方法，不需要微调。基于两个相互作用的模型：自回归语言 ruGPT-3 模型和自编码语言 ruRoBERTa 模型。该方法通过改变自回归模型的输出分布来确保文本中叙事向指南短语的连贯过渡，其有效性在新闻文章生成实验中得到了验证。

    Jun, 2022

  • 变分序列计划数据生成技术

    本论文考虑数据到文本生成的任务，着重提出了一种生成长篇文章的神经模型，增加了计划组件来组织高层次信息，在结构化变分模型的帮助下逐步推理出潜在计划，从而生成文本。在 RotoWire 和 MLB 两个数据到文本基准测试中，本模型表现优于基准模型，并且在训练数据有限的情况下具有较高的样本效率。

    Feb, 2022

  • 神经路径表示下的文本向量生成

    通过设计双分支变分自编码器 (VAE) 的神经路径表示，我们提出了一种新颖的神经路径表示，从序列和图像模态中学习路径潜在空间，通过优化神经路径的组合，我们可以在生成的 SVG 中融入几何约束的同时保持表达力。此外，我们引入了一种两阶段路径优化方法，用于改进生成的 SVG 的视觉和拓扑质量。

    May, 2024

  • 控制性文本生成的变分自编码器综述

    介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

    Nov, 2022

  • AnyText: 多语言视觉文本生成与编辑

    基于扩散模型的多语言视觉文本生成的 AnyText 模型，利用 OCR 模型和扩散管道生成准确和连贯的文本，通过文本控制扩散损失和文本感知损失进行训练来进一步增强书写准确性，并在评估实验证明我们的方法在视觉文本生成方面表现优异。

    Nov, 2023

  • RetVec: 弹性和高效的文本向量化

    本文介绍了 RetVec，一种用于神经文本处理的弹性多语言嵌入方案，包括小文本分类和大型语言模型，将单词嵌入到 256 维向量空间中，与最先进的标记器和词嵌入进行比较，这些比较证明了 RetVec 能够构建具有鲁棒性的文本模型，并且更加抗干扰。

    Feb, 2023