Oct, 2022

KSAT: 知识注入的自注意力变形器 —— 整合多个领域特定语境

PDF
TL;DR通过使用来自相关领域的外部知识资源，在 KSAT 中引入了知识注入的自我关注层，从而实现了对多个领域特定上下文的集成。KSAT 提供了控制从数据中学习与从知识中学习之间的权衡的机制，并与其他知识注入基线相竞争，显着优于使用精调进行领域特定任务的基线。
domain-specific languageself-attention architectureexternal knowledge sourcesksatmental health diagnosis
发现论文，激发创造
  • KAT：一种知识增强的视觉与语言 Transformer 模型

    本文介绍了一种新型多模态转换方法 - 知识增强变压器（KAT），该方法在 OK-VQA 上取得了强有力的最新结果，同时还提高了模型预测的可解释性。

    Dec, 2021

  • 知识注入的自注意力变换器

    本论文旨在提出一种有系统的方法将外部知识图谱融入 Transformer 模型中，以解决在语言模型中存在的幻觉和对人类用户生成无用和不安全输出的问题，并在 GLUE 基准测试任务上进行大量实验证明其有效性。

    Jun, 2023

  • 理解自监督音频 Transformer 的自注意力

    本文介绍了多种针对 Self-supervised Audio Transformers 中注意力机制分析的策略，包括解释每种类型的注意力机制的功能、提供可视化工具以了解多头自注意力、重要性排名策略以识别关键注意力，以及注意力精炼技术以提高模型性能。

    Jun, 2020

  • 为知识追踪寻找适当的查询、关键字和值计算方案

    本研究提出了一种新颖的 Transformer 模型 SAINT 用于知识追踪，并在大规模数据集上证明其相比于当前最先进模型提高了 1.8% 的 AUC 性能表现；该模型具有编码器 - 解码器结构，通过将练习和回答嵌入序列分别进入编码器和解码器，多次堆叠注意力层以捕捉练习和回答之间的复杂关系。

    Feb, 2020

  • 上下文感知的关注知识追踪

    本文提出了一种基于神经网络的注意力知识追踪模型（AKT），结合了新颖的解释性模型组件，用于个性化学习和自动化反馈，实验证明 AKT 可以优于现有的 KT 方法，并且具有良好的可解释性。

    Jul, 2020

  • RKT：关系感知自注意力用于知识追踪

    本文提出了一个新的知识追踪模型，采用基于关系的自注意力机制来综合考虑练习之间的关系和学生的遗忘行为，进一步优化在线学习体验和评估方法。实验证明该模型优于现有的知识追踪方法，认知注意机制还能可视化人类学习过程中的时间模式。

    Aug, 2020

  • 利用临床实践指南的交叉注意力方法进行抑郁症诊断可解释性研究

    通过加入临床知识，PSAT 模型提出了一种解释性的人工智能方法来分析和分类临床对话，为诊断抑郁症等心理健康问题提供了应用相关的解释。

    Nov, 2023

  • 文本对话情感检测的知识增强 Transformer

    本文提出了一种知识增强型 Transformer (KET) 模型，结合分层自注意力机制和上下文感知情感图注意力机制，成功解决了分析对话中情绪所面临的常识和上下文理解问题，实验结果表明 KET 模型在情感检测方面表现良好，F1-score 明显高于当前最先进的模型。

    Sep, 2019

  • KI-BERT: 基于知识背景的语言和领域理解的增强

    通过对知识图谱进行多方位的知识语境注入，基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题，从而在 GLUE 测试集的多个子任务中，KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体，甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。

    Apr, 2021

  • 上下文感知自注意力网络

    通过上下文信息来提高自注意力网络有效性的研究表明，利用内部嵌入全局和深度上下文的方式来上下文化查询和键层变换可以提高翻译任务的性能.

    Feb, 2019