- EMNLP生物医学领域的描述性知识图谱
我们提出了一个新颖的系统,从生物医学语料库中自动提取和生成信息丰富、描述性的句子,促进相关知识的高效检索。与以往的搜索引擎或探索系统不同,我们的系统将描述性句子组织为关系图,使研究人员能够探索密切相关的生物医学实体(例如,化学品治疗的疾病) - 在预训练语言模型中发现关键知识子网络
我们研究了预训练语言模型是否包含多种具有关键作用的子网络,并提出了一种多目标可微的权重掩蔽方案,以准确删除模型中特定的知识,从而使得模型保留对语言和其他记忆性关联知识的建模能力,但在训练后,其表达被删除知识的能力降低,对需要这些已删除知识的 - ICCV基于逻辑推导的半监督语义分割的诊断推理
通过理性诊断符号引导冲突,LogicDiag 逐步解决伪标签内的冲突,恢复错误伪标签,最终减轻错误积累问题;在三个标准半监督语义分割基准测试中证明了 LogicDiag 的有效性和广泛适用性,并突出了系统集成符号推理与统计、神经学习方法中出 - ACL从语言模型中提取多值关系
通过预训练的语言模型 (LMs) latent language representations 的普遍使用表明它们是一种有希望的结构化知识的来源。然而,现有方法只关注每对主体 - 关系中的一个对象,尽管经常有多个对象都是正确的。为了克服这 - 通过多态性和同义替换向生物医学预训练模型注入知识
通过实验表明,将相关实体替换为同义词、上下位词或相关概念是将关系知识注入预训练语言模型的一种简单有效方法,该方法能够更好地捕捉关系知识,并提高各种生物医学领域下游任务的性能。
- CORSD: 面向类别的关系自蒸馏
本文提出一种名为类导向关系自知识蒸馏(CORSD)的新型训练框架,用于解决现有知识蒸馏的局限性,通过可训练的关系网络提取结构化数据输入的关系,从而将关系知识从深层次传递到浅层次,辅助分类器捕捉有利于分类任务的类导向关系,并在 CIFAR10 - 通过描述性关系提示和对比学习进行句子级别关系提取
本文提出了一种新的范式 —— 具有描述性关系提示和对比学习的对抗性学习 (CTL-DRP),用于共同考虑实体信息、关系知识和实体类型限制,通过提出的方法,在 TACRED 上获得了 76.7% 的竞争性 F1 - 分数,在 TACREV 和 - 利用关系进行可迁移的少样本细粒度目标检测
通过使用关系信息,将粗略的目标检测器(例如 "桌子"、"台灯")转化为细粒度检测器(例如 "桌上台灯"),即使只有少量细粒度注释数据(全数据集的 0.2%),该方法也可达到接近基于微调的最新目标检测器水平,并在无见数据集(零 - shot - 元节点:有效学习异构图中复杂关系的简明方法
本文介绍一种新型概念 ——meta-node,在异构图的消息传递中用于学习富关系型知识,避免了提前配置 meta-paths 和 meta-graphs,并将该方法应用于对比学习模型中,实验表明 meta-node 方法在节点聚类和分类任务 - EMNLPIELM:面向预训练语言模型的开放式信息抽取基准测试
本文介绍了一种新的基于预训练语言模型的开放信息抽取基准测试,并证明该基准测试可以通过将预训练语言模型转化为零样本抽取系统,充分检查模型中存在的开放关系信息。
- 基于关系提炼的无链接链路预测
本文研究以知识蒸馏技术加快图神经网络(GNN)的边预测任务,尝试了基于预测对数和节点表示的两种直接应用知识蒸馏技术方法,提出了一种名为 LLP 的基于关系知识的框架,能够显著提高 MLP 的边预测性能,并比 GNNs 更高效。
- Wikidata 是否支持类比推理?
本文旨在研究 Wikidata 是否支持类比推理,发现 Wikidata 中关键的联合信息通常缺失或模型不一致,需要大量的人工工作才能用于类比分类,同时提出了一组指标来指导自动从 Wikidata 中提取类比的方法。
- EMNLPGeoMLAMA:多语言预训练语言模型上的地理多样性常识探针
本文介绍了一个多语种、跨文化的基准数据集 GeoMLAMA,旨在探究多语种 PLMs 中通用知识的多样性,通过在 11 个标准多语种 PLMs 上的测试,发现尺寸较大的多语种 PLMs 并不一定比尺寸较小的更好地存储多样的概念,语言不一定能 - ICCV用图神经网络提炼整体知识
本文提出一种基于属性图的全局知识蒸馏方法,通过自适应地聚合相关样本的单独知识,将它们与关系型邻域样本的关联知识整合成统一的图嵌入,并以对比的方式训练学生网络来蒸馏全局知识。
- BERTnesia: 探究 BERT 中知识的捕捉和遗忘
这篇文章探讨了 BERT 模型如何从它的参数化内存中获取关系知识,并使用知识库补全任务在 BERT 的每一层中进行了测试。作者发现,中间层对于 BERT 模型中的总知识量贡献了很大的部分,同时发现 fine-tune 时,与训练数据和训练目 - ECCV深度度量学习的多元化互相学习
本文提出了一种名为多样化互惠度量学习的有效互惠学习方法,通过利用互相学习中的三种多样性来增强嵌入模型的互惠学习,从而传递深层度量学习的关系性知识。试验表明,该方法显著提高了单个模型以及其集合的性能,并在常规数据集上取得了最好的回忆率 @1 - AAAI从 BERT 中引出关系知识
该研究使用一种方法从预训练语言模型中提取关系知识,通过使用大量文本语料库,我们提取句子作为模板,并通过微调语言模型来预测一对词是否是某个关系的实例。
- EMNLP语言模型作为知识库吗?
通过对预训练语言模型的深入分析,我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识,可以根据开放式关系进行查询,某些类型的事实知识比标准语言模型预训练方法更容易学习,并可以作为无监督的开放式 QA 系统的潜力展现。
- 利用多任务学习将关系知识纳入常识阅读理解
本文提出了一种将外部关联知识与多任务学习相结合的方法,以提高机器阅读理解的效果,并在两个多选基准数据集上进行了实验,结果表明该方法在常识推理方面表现优异。
- ACL关系词嵌入
本文中,我们提出了一种用于编码关系性知识的词嵌入方法,其旨在为已有的标准词嵌入方法提供一种补充。通过从共现统计数据中学习出这种关系性词向量,我们发现它确实捕捉到了非常有用的补充信息。