May, 2023

FACE：使用交叉熵傅立叶分析评估自然语言生成

PDF
TL;DR通过实验结果，本文提出了一种计算机生成语言与人类自然语言之间相似性的新方法 FACE，该方法基于熵的周期性实证研究的结果，采用傅立叶分析和交叉熵等指标度量模型生成的语言与人类自然语言之间的相似性，并在计算效率和可解释性方面都表现优异。
发现论文，激发创造
  • 自然语言描述生成高保真 3D 人脸

    本研究提出了一种基于自然语言描述生成高质量三维人脸模型的方法，通过建立 Describe3D 数据集以及使用两阶段框架来解决描述语言空间与形状 / 外观空间映射关系的问题，并且实验结果表明，该方法可以以比以往更高的精度和质量生成符合输入描述的三维人脸。

    May, 2023

  • 面对面对比学习用于社交智能问答

    本文提出了一种名为 Face-to-Face Contrastive Learning (F2F-CL) 的图神经网络模型，用于建模人类社交互动中的面对面交流动态，并在 Social-IQ 数据集上实现了最先进的效果。

    Jul, 2022

  • 基于深度神经网络的逼真面对面对话系统

    本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。

    Aug, 2019

  • 通过属性分解的文本生成人脸

    提出了一种名为 TTF-HD 的文本到面部图像生成模型，该模型不仅能够生成高分辨率（1024x1024）的具有文本到图像一致性的图像，还能输出多个不同的面孔，以自然的方式覆盖广泛面部特征。实验结果表明，TTF-HD 具有最先进的性能。

    Jun, 2020

  • FaceChain-ImagineID: 从解耦音频中自由地构建高保真多样化的说话人脸

    从单一音频生成具有高保真度的多样对话人脸，通过音频解耦、面部几何和语义学习、可控一致帧生成实现视觉多样性和音频同步动画。

    Mar, 2024

  • 使用有条件训练的输入生成对抗网络从文本特征生成人脸

    本文介绍了一种利用生成式对抗网络和自然语言处理模型生成人脸的新方法，将面部描述转换为可学习的潜在向量，从而生成与这些特征相对应的面部。

    Jan, 2023

  • Vec2Face: 从 Face Recognition 的黑盒特征中揭示人脸

    本文提出了一种新的生成模型 - 双射生成对抗网络，并引入成分提取和度量学习来增强图像的重建过程，最终生成出具有真实性和身份保留特性的面部图像。该模型在多个基准数据集上进行实验，证明了其有效性。

    Mar, 2020

  • TextGaze: 自然语言驱动的可操控注视生成人脸

    本文提出了一种新颖的可控凝视的人脸生成任务，方法使用文本描述输入来生成具有相应凝视特征的人脸图像，并通过面部草图和 3D 人脸模型实现了凝视的文本到人脸的转换。实验证明了方法的有效性，同时作者将提供数据集和代码以供今后研究使用。

    Apr, 2024

  • 创建面对面多模式人机交互的语言学和计算要求

    本研究通过对人与虚拟人物互动对话进行语言学、组织结构及结构分析，提出了为机器创建面对面多模态界面的必要性，并观察了多模态动作和事件的分布，数据表明需要在多模态融合层之外增加一个控制层来组织会话流、集成社会背景以及拟定进展计划，需要将会话分析、认知科学和心智理论等内容融入到界面系统中。

    Nov, 2022

  • FT2TF: 面向人的陈述文本至说话人脸生成

    提出了 FT2TF - 第一人称陈述文本到说话人脸生成的新的一阶段端到端流水线，通过改变相应的输入文本实现对面部表情的准确操作，证明在多维度评估指标上优于现有相关方法并达到最先进水平。

    Dec, 2023