通过利用神经网络对时间表达式和事件进行自动识别和分析的方法,我们构建了第一个神经时间依存解析器,并且与其他方法相比有着非常具有竞争力的结果。实验结果和讨论为不同领域的时间依赖性结构提供了有价值的见解,有助于未来的研究。
Sep, 2018
使用大规模预训练语言模型自动产生基于事件级别的时间图的第一项研究,通过使用现有的信息提取 / 自然语言处理工具自动生成大量文档 - 图对,并将上下文化图的产生问题作为序列到序列映射任务提出创新方案,我们的实验表明,我们的方法在生成结构和语义有效的图方面非常有效。
Oct, 2020
本研究探讨了在自然语言处理领域中理解文本的时间背景的方法,并介绍了一种新型语言模型 BiTimeBERT 2.0,该模型通过预训练在一个时间新闻文章集合上,利用三种创新的预训练目标以有效地获得时间感知的语言表示,从而在与时间相关的任务中实现改进的性能。实验结果显示,BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。
Jun, 2024
本文介绍了一种新的语义解析设置,使用户能够使用自然语言问题和图形用户界面内的操作查询系统。我们设计了一个基于 LSTM 的编码器 - 解码器架构,通过复制机制和多级输入和先前输出的注意力来建模上下文依赖性。使用策略梯度训练该架构可进一步提高性能,在人工数据上达到了 88.7% 的序列级准确度,在实际数据上达到了 74.8%。
May, 2019
本文提出了一种用于在句内事件之间进行时间关系分类的序列模型。我们的方法首先提取一个上下文词序列,该词序列与两个事件提及之间的依赖路径很好地对齐,并使用生成的词序列对应的词性标记序列和依赖关系序列作为输入,提供给双向循环神经网络 (LSTM) 模型。神经网络学习组成句法和语义上下文表征,以预测它们之间的时间关系。该方法在 TimeBank 语料库上的评估表明,顺序建模能够准确地识别事件之间的时间关系,并且胜过了以前基于特征的模型。
Jul, 2017
本文提出使用基于 LSTM 简单统一的模型从文本中恢复不同类型的时间关系,通过依存路径提供输入,同时包括句内、句间和文档创作时间关系。运用双重检查技术,在分类中颠倒实体对,提高正例召回率并减少相反类之间的错误分类。最后,使用有效的剪枝算法在全局解决冲突。该方法在 QA-TempEval(SemEval2015 任务 5)上表现优于现有的方法。
Mar, 2017
本文提出了一种基于概率领域知识构建分布式约束的框架,并且通过 Lagrangian Relaxation 解决约束的推理问题,用于端到端的事件时间关系提取任务,实验结果显示我们的框架能够在新闻和临床领域的两个广泛使用的数据集上显著地提高基线的神经网络模型。
Sep, 2020
本研究介绍了一种新方法,将语法纳入自然语言推理(NLI)模型中。我们使用预训练的依存解析器中的上下文令牌级向量表示来实现此方法,并使用四个强 NLI 模型(可分解的注意力模型、ESIM、BERT 和 MT-DNN)进行实验,在三个 NLI 基准测试中表现出了一致的精度提高。
Sep, 2019
我们提出了一种基于深度双向注意力的新型时间信息提取模型,直接执行关系提取任务,利用多层感知机进行弧预测和关系标签预测,充分利用时间关系的双向特性,实现了最新技术水平的时间关系提取性能。
Jan, 2022
本文介绍了一种基于时间的上下文语言模型 TempoBERT,通过添加时间信息和进行特定的时间掩码来适应语言的动态性,并在不同的数据集上进行了实验,证明利用时间掩码可以在语义变化检测和句子时间预测任务中得到好的效果。
Oct, 2021