KDDJul, 2023

LEA：提升句子相似度对错别字的鲁棒性的词汇注意力偏置

PDF
TL;DR通过引入词汇感知注意力模块（LEA）来解决文本噪音问题，增强交叉编码器在具有短文本描述和有限上下文的复杂场景中应对文本噪音；在商品匹配和文本蕴含等领域中，LEA 通过考虑词汇相似性对打字错误鲁棒性进行改进，在干净数据集和包含噪音数据集上均展现出竞争力，并为交叉编码器处理打字错误的研究提供了启示。
发现论文，激发创造
  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 无监督文本风格转移的鲁棒和语义组织潜在表示

    该研究提出了一种基于 EPAAEs 的方法，通过在连续嵌入空间中添加一个可调整噪音组件来完善扰动模型，从而更好地聚类风格相似的句子，且在文本风格转移任务上表现优异，同时还将文本风格转移任务扩展到 NLI 数据集，并证明了该方法最适合学习具有更复杂风格的数据集。

    May, 2022

  • 提升 Transformer 架构在语义文本相似性方面的性能

    本文针对语义文本相似度的任务，采用 BERT、RoBERTa 和 DeBERTaV3 三种交叉编码器以二分类或回归的方式建模，调整了模型结构和手工特征的输入，旨在提高其准确性，其中就测试数据结果的讨论进行了误差分析。

    Jun, 2023

  • 跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

    通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

    Mar, 2024

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019

  • 基于字符注意力机制的神经语言纠错

    本文介绍了一种基于神经网络的自然语言校正方法，该方法以字符级别操作避免了词汇表外的问题，并展示了在语言学习者论坛收集的数据集上的灵活性和性能。与语言建模相结合后，该方法在 CoNLL 2014 共享任务中实现了最先进的 $F_{0.5}$- 分数。

    Mar, 2016

  • 具有潜在共同关注的身份感知文本 - 视觉匹配

    本文提出了一个基于身份感知的两阶段框架，通过新颖的 CMCE 损失函数和潜在的共同注意机制来提高文本 - 视觉匹配的准确性，实验证明其相对于先前的最先进方法取得了显著的性能改进。

    Aug, 2017

  • 通过词汇分解和组合学习句子相似度

    本文提出了一个基于词汇语义分解和组合、双通道 CNN 模型的方法，不仅考虑输入两个句子的相似部分，同时也利用它们的不相似部分，从而可以更准确地比较句子相似度。实验表明，该模型在答案句子选择任务上取得了最好的表现，并在释义识别任务上取得可比较的结果。

    Feb, 2016

  • 变压器中的注意力 - 相似度关系

    我们分析了大型语言模型（LLMs）如何表示上下文之外的单词，研究它们依赖所给上下文来捕捉其语义的情况。我们的文本扰动指导了似然性，揭示了变形器模型中令牌似然性和注意力值之间的相关性。广泛的实验表明，意外的令牌会导致模型不太关注来自自身的信息以计算它们的表示，特别是在较高的层次上。这些发现对于评估 LLMs 在真实世界场景中的鲁棒性具有重要的影响。

    Mar, 2023

  • 无监督机器翻译数据增强改善跨语言词向量结构相似度

    提出了一种使用非监督机器翻译生成的伪平行语料库以优化跨语言词嵌入的无监督映射方法的新思路，改进了现有方法，并通过详细分析证明伪数据增强方法特别适用于基于映射的跨语言词嵌入任务。

    May, 2020