Feb, 2023

基于 Transformer 和同义词词林语义元知识融合的语义一致性联合识别

PDF
TL;DR本研究提出一种基于 Transformer 和 HowNet sememes 知识融合的协同驱动语义一致性识别方法，通过多层编码、交互式注意力计算和双向 LSTM 等技术，可以有效提高语义一致性识别的准确性并减小模型参数，适用于长文本场景和对语义一致性进行鉴别。
semantic consistency recognitiontransformerhownet sememesbidirectional lstmparaphrase identification
发现论文，激发创造
  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 稠密连接循环和协同信息的语义句子匹配

    本文提出了一种基于 DenseNet 的密集连接共同注意递归神经网络来处理句子匹配问题，并在竞争激烈的基准数据集上验证了其在注意特征和重要信息方面的优势，实现了最先进的性能水平。

    May, 2018

  • 结合自适应增强语义信息的知识图谱补全方法

    该研究构建了一种知识图谱补全方法，通过微调 BERT 模型获取三元组中隐藏的语义信息，并使用注意力特征嵌入方法计算正负三元组中关系和实体之间的语义注意力得分，形成软约束规则来实现语义信息的自适应增强。此外，考虑到高维向量对影响，使用 BERT-Whitening 方法降低维度，提高语义向量的效率。经实验比较，在 FB15K 和 WIN18 数据集上，所提出的方法表现更好，比原始翻译模型有约 2.6％的数值改善。

    Feb, 2023

  • 基于 Transformer 的文本语义通信的联合源信道编码

    本文提出了一种文本语义传输框架，利用先进的自然语言处理技术对句子进行建模和编码，以实现鲁棒传输。该方法利用神经网络和注意机制在具有挑战性的无线环境中提供可靠高效的文本数据传输，通过对语义相似性和双语评估的模拟结果证明了该模型的优越性。

    Jul, 2023

  • 带交叉一致性训练的半监督语义分割

    本文提出了一种新型的基于交叉一致性的半监督语义分割方法，其中共享编码器和主解码器进行有监督训练，利用无标签数据来提高编码器的表示，该方法简单易懂，并且在多个数据集上实现了最先进的结果。

    Mar, 2020

  • 双层 Transformer 和辅助一致性建模，提升文本分段

    提出了一种新的监督式文本分段模型，它基于简单而明确的连贯性建模，并包括两个层次相连的 Transformer 网络的神经架构，它是一种多任务学习模型，并且通过将句子级分段目标与区分正确顺序的连贯性目标耦合来实现。该模型称为具有连贯性感知的文本分割（CATS），在一系列基准数据集上实现了最先进的分割性能，通过与跨语言词嵌入相结合，我们还展示了它在零 - shot 语言转移方面的有效性：它可以成功地分割训练中未见过的语言中的文本。

    Jan, 2020

  • 提升语义相关性，用于中文社交媒体文本摘要的序列到序列学习

    本文通过引入一种基于语义相关性的神经模型，旨在提高汉语社交媒体摘要中源文本和摘要之间的语义相关性，使用编码器 - 解码器框架，通过最大化表示之间的相似性得出结论，实验表明，该模型在社交媒体语料库上优于基线系统。

    Jun, 2017

  • 语义答案相似度度量评估

    提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

    Jun, 2022

  • 理解和排序图像字幕的语义

    本文介绍了一种新的基于 Transformer 结构的模型 COS-Net，该模型同时实现了图像中丰富语义的理解和序列化，通过搜寻与图像相关的句子和筛选图像中的语义标记，最终生成能够描述图像的句子，实验结果表明 COS-Net 在 COCO 数据集上显著优于现有技术，达到了 141.1% 的 CIDEr 评分。

    Jun, 2022

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021