通过在命名实体识别中引入边界平滑正则化技术，将命名实体的概率分布从注释的跨度重新分配到周围的跨度，从而有效缓解了过度自信问题，改善了模型的校准性并获得更好的结果。

Apr, 2022

本文介绍了 DiffusionBERT，一种基于离散扩散模型的新型生成遮蔽语言模型，探讨了通过结合扩散模型和预训练去噪语言模型的能力，进一步提高文本生成质量。实验证明，DiffusionBERT 在文本生成方面的表现明显优于现有的扩散模型和先前的生成遮蔽语言模型。

Nov, 2022

本文分析了连续数据空间和嵌入空间之间的挑战并提出Difformer，一种基于Transformer的嵌入式扩散模型，通过实验表明它在机器翻译和文本摘要等任务中优于其他扩散基准模型。

Dec, 2022

本文探讨了如何在Denoising Diffusion Models的latent space中嵌入图像，实现对噪声图像的去噪，并发现了该类生成模型中latent representation独立于反扩散过程网络实现的网络结构。

Dec, 2022

本文提出一种多任务Transformer模型，该模型将实体边界检测任务整合到命名实体识别任务中，通过关系分类来实现实体边界检测，并采用外部知识库和自注意力及交叉注意力机制来提高解码时实体类型映射的准确性。在多个实验数据集上的实验结果表明，该方法显著提高了生成型NER模型的性能。

Mar, 2023

介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。

Apr, 2023

本文提出了CoLaDa协作标签去噪框架来解决跨语言命名实体识别中标签噪声的问题。通过采用不同数据源的模型合作去噪伪标签和基于实例协作的策略来考虑表示空间中邻域的标签一致性，CoLaDa在不同基准数据集上得到了卓越的结果，特别是在远距离语言的泛化方面。

May, 2023

通过使用去噪扩散模型，我们可以条件生成和密度建模复杂关系，如图像和文本，并通过信息分解揭示学到的细粒度关系，进而提出了许多应用，包括无监督定位图像中的目标和选择性编辑图像时的影响测量。

Oct, 2023

我们开发了一种生成式基于注意力的方法，用于对结构化实体进行建模，这些实体包括不同类型的属性，如数值、分类、字符串和组合。我们的方法可以处理这种异构数据，并通过连续-离散的扩散过程来对属性进行建模。我们的灵活框架可以对具有任意层次属性的实体进行建模，从而能够应用于结构化知识库实体和表格数据。我们的方法在15个数据集中的大多数情况下都获得了最先进的性能。此外，通过设备知识库和核物理数据集的实验，证明了该模型在各种环境中学习有用的实体补全表示的能力。这对模型的固有概率特性来说非常重要，在科学应用中对数值属性进行高准确性建模也有很大好处。

Dec, 2023

Diffusion Partial Information Decomposition (DiffusionPID) is a novel technique applied to decompose the input text prompt, enabling a detailed examination of how individual tokens and their interactions shape the generated image in text-to-image diffusion models, addressing unanswered questions and biases analysis.

Jun, 2024