Nov, 2022

辅助实体的语言模型用于识别值得检查的句子

PDF
TL;DR提出了一种新的文本分类和排序框架，该框架可以自动化地识别政治辩论和演讲文本中值得核查的句子，这种框架结合了句子的语义分析和通过句子中已识别的实体获得的额外实体嵌入，使用五种不同的语言模型、六种不同的知识图谱嵌入模型以及两种组合方法实例化，然后进行了广泛的评估，结果显示神经语言模型明显优于传统的 TF.IDF 和 LSTM 方法，其中 ALBERT 模型始终是所有测试的神经语言模型中最有效的模型，实体嵌入与知识图谱嵌入一起使用明显优于现有基于句子实体之间相似性和相关性分数的文献方法。
发现论文，激发创造
  • 使用弱监督的神经网络排名：寻找用于事实检查的句子

    本研究提出了基于神经网络的句子排名模型，在选择句子时考虑了其语法依赖和语义表达，并使用弱监督技术进行了大规模训练，结果表明模型的效果在多个评价指标上均优于现有基线方法，通过实证分析发现值得检查的句子中的语法依赖项相较于非检查句子具有明显的重叠规律。

    Mar, 2019

  • 面向可计算验证的语言模型语义基础研究

    本文提出了一种语义基础的语言模型方法，将语言模型嵌入到自编码器中，在保持语义解析器冻结的同时通过采样和训练提高了自动生成的文本的流畅度和语义准确性，使用 BLEU 分数和标准解析度量在 English WebNLG 3.0 数据集上进行实验，并通过人工评估验证了自动评估实验的结果。

    Nov, 2022

  • 本体增强的索赔检测

    我们提出了一个基于本体增强模型的句子级主张检测方法，通过将来自知识库的本体嵌入与 BERT 句子嵌入相融合，对 ClaimBuster 和 NewsClaims 数据集进行主张检测。我们的本体增强方法在这些小型非均衡数据集上展示出了最佳结果，相比其他统计和神经机器学习模型。实验表明，添加领域特定特征（训练词嵌入或知识图谱元数据）可以改善传统的机器学习方法。此外，以本体嵌入的形式添加领域知识有助于避免在神经网络模型中遇到的偏见，例如纯 BERT 模型在我们的小语料库中对较大类别的偏倚。

    Feb, 2024

  • 一种神经符号化方法用于识别语法正确的句子

    本论文介绍一种使用神经符号方法验证英语句子的简化方式，其结合了现代 AI 技术，如语言模型，以解决文本摘要、问答和机器翻译等自然语言处理挑战。

    Jul, 2023

  • 关于相关性和蕴含的句子嵌入联合学习

    研究了在信息检索中识别文本蕴含问题的模型，使用了多种变量的神经网络模型，提出了基本的蕴含证据集成模型并展示了其有效性，同时引入了一个基准数据集并在其上进行了实验，并应用该模型于多选题答案排序任务达到了最新的研究效果。

    May, 2016

  • 两个基于语篇的语言模型用于语义

    本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

    Jun, 2016

  • 神经注意力实体袋模型用于文本分类

    该研究提出了一种神经关注实体包模型，该模型是使用知识库中的实体来执行文本分类的神经网络模型。该模型通过字典中的高回召率实体检测和神经关注机制相结合，显著提高了在三个不同数据集上的分类效果。

    Sep, 2019

  • 从知识库中学习文本和实体的分布式表示

    我们提出了一种神经网络模型，该模型可共同学习文本和知识库实体的分布式表示。我们使用基于维基百科的大量文本和其实体注释来训练模型，并在涉及无监督和有监督设置的三个重要 NLP 任务（即句子文本相似性，实体链接和短问答）上进行了评估。在所有三个任务上，我们都取得了最先进的结果。

    May, 2017

  • 虚拟助手的辨别式实体感知语言模型

    本文研究提出了一种基于知识图谱的语言建模方法，通过有效的格栅重排过程，达到了相对句子错误率的降低，为虚拟助手 ASR 的精度提高提供了强有力的支持。

    Jun, 2021

  • 用于实体发现和链接的神经网络模型

    本论文描述了 USTC_NELSLIP 系统，在 2016 年 TAC 知识库填充 (KBP) 竞赛中提交的 Trilingual Entity Detection and Linking (EDL) 赛道，使用了两种方法进行实体发现和提及检测 (即使用 条件 RNNLM 和基于注意力的编码器解码器框架)，将实体链接 (EL) 系统分为两个模块：基于规则的候选生成和神经网络概率排名模型。此外，还使用一些简单的字符串匹配规则进行 NIL 聚类，在结束时，我们的最佳系统在整个类型提及 CEAF 加度量中取得了 0.624 的 F1 值。

    Nov, 2016