EMNLPOct, 2023

ScanDL: 一种在文本上生成合成扫描路径的扩散模型

PDF
TL;DR我们提出了一种基于离散序列到序列扩散模型的 ScanDL，通过利用预训练的词表示和联合嵌入刺激文本和注视序列，捕捉两个输入之间的多模式交互。我们在数据集内外进行了评估，并证明它明显优于最先进的扫视路径生成方法，最后，我们进行了广泛的心理语言学分析，突出了该模型展示人类阅读行为的能力。
发现论文，激发创造
  • 利用合成扫视路径增强的预训练语言模型用于自然语言理解

    整合了合成扫视路径生成和扫视路径增强的语言模型，消除了对人类注视数据的需求，并具有与真实数据增强的语言模型相媲美的性能。

    Oct, 2023

  • 为改善 NLP 表现合成人类凝视反馈

    本文提出了一种基于 ScanTextGAN 的人类注视路径生成模型，通过集成生成的注视路径数据来提高自然语言处理领域中多个任务的性能表现。

    Feb, 2023

  • Eyettention: 一种基于注意力的双序列模型，用于预测阅读过程中人类扫视路径

    本文提出了一种名为 Eyettention 的双序列模型，它可以同时处理词序列和注视序列，通过交叉序列注意机制实现了两个序列的对齐，并在不同的语言数据集上进行了广泛评估和深入分析。结果显示，Eyettention 在预测扫描路径方面表现优于现有模型。

    Apr, 2023

  • 融合大型语言模型和主动推断以理解阅读和失读中的眼动

    我们提出了一种新颖的计算模型，采用分层主动推理来模拟阅读和眼动。该模型将语言处理视为对层次生成模型的推理，从音节到句子的多个粒度级别上进行预测和推理。我们的方法结合了大规模语言模型的文本预测能力和主动推理的眼动引导信息，实现了对预测的测试。我们的模型表现出在阅读已知和未知词汇和句子时的熟练程度，并符合阅读双重路径理论中词汇和非词汇路径的区分。总之，我们的模型在理解阅读和眼动中涉及的复杂认知过程方面取得了显著进展，并具有通过模拟适应性推理来理解和解决阅读障碍与诵读障碍相关的潜在启示。它可能为该病症提供有价值的见解，并有助于制定更有效的治疗措施的发展。

    Aug, 2023

  • 基于多条件扩散模型的语言驱动场景合成

    通过结合文字提示、人体动作和现有物体来进行多模态场景合成的多条件扩散模型，理论上支持，实验证明优于最先进的基准，并可实现自然场景编辑应用。

    Oct, 2023

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • 区分性扩散模型作为几个少样本视觉和语言学习器

    该论文提出了一种名为 DSD 的创新方法，它利用预训练的 text-to-image 扩散模型进行少样本判别性学习，并使用交叉注意力分数捕捉视觉和文本信息之间的相互影响，并通过基于注意力的提示学习对模型进行微调，实现图文匹配，并在几个基准数据集上展示利用预训练扩散模型在少样本图文匹配上具有非凡的结果。

    May, 2023

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 运动漫化：基于扩散模型的文本驱动人体动作生成

    MotionDiffuse 是一种基于扩散模型的文本驱动运动生成框架，可以通过概率映射、真实的合成方式，以及多级操作等方法，有效地生成复杂和多种变化的人类运动。

    Aug, 2022