参考感知语言模型
本研究提出了一种新的神经实体链接模型,将实体链接中的关系视为潜在变量,并在优化实体链接系统的同时诱导这些关系,同时取得了 AIDA-CoNLL 基准测试上最好的结果。
Apr, 2018
本文提出了一种针对 NLP 中需要汇总来自远处的同一实体的信息的情况的循环层,该层使用外部系统提取的指代注释连接属于同一簇的实体提及,并将其合并到最先进的阅读理解模型中,从而改善了 Wikihop、LAMBADA 和 bAbi 人工智能任务的性能,并且可在数据稀缺时获得大的收益。
Apr, 2018
参考解析是一个重要的问题,对于理解和成功处理各种背景具有至关重要的作用。本文展示了如何利用 LLMs 创建一个极其有效的系统来解析各种类型的参考,通过将参考解析转化为一个语言建模问题,包括屏幕上的实体这类传统上不便于仅限于文本模态的形式。我们展示了在不同类型的参考上相对现有系统相似功能的巨大改进,最小的模型对于屏幕上的参考获得了超过 5%的绝对增益。我们还与 GPT-3.5 和 GPT-4 进行了基准测试,最小的模型在性能上相当于 GPT-4,而我们较大的模型则远远超过了它。
Mar, 2024
通过对话互动生成确切描述来增强视觉引导对话中视觉语言模型(VLMs)的话语处理能力,并使用预训练的 VLMs 在零样本情况下识别参照物,从而提高了参照的准确性和效果。
Sep, 2023
本文提出了一种新的架构,用于存储和访问实体提及,在进行在线文本处理过程中,通过将记忆操作编码为可微分的门,可以通过使用监督语音解析目标以及辅助语言模型目标来对模型进行端对端的培训,并通过代词 - 名称照应的数据集评估,证明了在完全增量文本处理中具有强大的性能。
Feb, 2019
提出了一种基于知识图谱关系的潜在关系语言模型 (Latent Relation Language Models, LRLMs), 该模型不仅能提高语言建模性能,还能添加实体跨度的后验概率,实验结果表明该模型的性能优于基准模型和之前的知识图谱信息存在的模型,定性分析进一步证明了所提议的模型在上下文中预测适当的关系的能力。
Aug, 2019
本文研究了利用大型语言模型(LLMs)预训练阶段存储的参数化知识,独立地从任意起始位置检索参考段落的方法,并提出了一个模拟人类检索易被遗忘参考的两阶段框架。实验证明,LLMs 能够独立检索各种任务形式中的参考段落位置,并且获取的参考对下游任务产生了显著帮助。
Feb, 2024
通过使用外部语言知识来作为 RNN 模型的显式信号,将文本序列图形化表示并进行无环子图分解,以实现 RNN 模型对长期依赖关系的建模,并应用于文本理解任务,实现新的 SOTA 效果。
Mar, 2017
提出了一种基于知识图谱的记忆增强自回归语言模型,通过检索相关关系以改善文本生成,实验结果表明,这种方法在困惑度和字符比特方面产生了更好的语言模型,并且关系记忆有助于生成的连贯性,是词元记忆的补充。
Jan, 2022
本文提出了一种针对在线解码的指代消解方向,其针对包含对话在内的实时生成输入的场景,在每个对话轮次上,该模型接受一个话语和其过去的语境,然后查找当前话语中的提及以及它们的指代。该文章提出了基线和四个增量更新的模型,适应于提到链接范式的新设置,其中包括单一实例、说话人定位编码和跨轮次提及的情境化。在 Friends、OntoNotes 和 BOLT 这三个数据集上评估我们的方法,结果表明每个方面都带来了稳定的改进,我们最好的模型比基线高出 10%以上,是这个场景的一个有效系统。进一步分析突出了任务特点,例如解决提及回忆的重要性。
May, 2022