Oct, 2023

结合行为和继承特征键盘

PDF
TL;DR使用最新提出的 “Option Keyboard”(OK) 方法，本研究提出了 “Successor Features Keyboard”(SFK) 和 “Categorical Successor Feature Approximator”(CSFA) 两种方法，实现在一个具有挑战性的三维环境中，通过发现状态特征和任务编码进行知识迁移。通过对比其他方法和基准的实验结果，结果显示 CSFA 能够以更高效的方式进行 SF 近似，并且 SFK 在长期任务中最快地进行知识迁移。
option keyboardsuccessor featuresgeneralized policy improvementcategorical successor feature approximatortransfer learning
发现论文，激发创造
  • FC-KBQA：一种基于精细到粗糙组合的知识库问答框架

    本文提出了一种基于精细到粗粒度组合的 KBQA 框架 (FC-KBQA)，它通过从 KB 中提取相关的细粒度的知识组件并将其重新构成中粒度的知识对，以实现逻辑表达式的泛化能力和可执行性。实验证明，FC-KBQA 在 GrailQA 和 WebQSP 上都有最先进的性能表现，并且比基线系统运行速度快 4 倍。

    Jun, 2023

  • 学习特征表示用于关键词提取

    本文介绍了一种基于机器学习的方法，用于在文本中提取关键短语，通过构建文档的图表示和自动学习短语的特征表示，相比强基线模型取得了显著的性能提升。

    Jan, 2018

  • 高效的多任务特征和关系学习

    本文针对多任务学习问题，提出一种学习任务和输入特征之间关系的联合预测方法，通过优化任务协方差和特征协方差矩阵，提出了一种高效的坐标轮流最小化算法，实验结果表明该方法比同类方法快得多，同时提供了一种非线性扩展方法，其泛化能力比现有方法更好。

    Feb, 2017

  • 知识图谱增强推荐的多任务特征学习

    本文提出了一种基于知识图谱增强的推荐系统的多任务特征学习方法，MKR，该方法使用交叉压缩单元将推荐任务与知识图谱嵌入任务联系起来，共享潜在特征并学习推荐系统中的物品与知识图谱实体之间的高阶交互作用，结果表明 MKR 能够在多个任务上取得有实际意义的改进。

    Jan, 2019

  • SGG: 关键词短语生成的选择、引导和生成学习

    本文介绍了一种基于 Select-Guide-Generate (SGG) 方法的关键词生成模型，它能够明确区分文档中的现有关键词和非现有关键词。实验结果表明，它在关键词生成任务中的表现优于其他模型，并且能够扩展到标题生成任务。

    May, 2021

  • FiTs：知识感知问答的精细二阶段训练

    该论文提出了一种 Fine-grained Two-stage training framework (FiTs) 框架用于知识感知问答，通过对齐预训练语言模型和知识图谱中的表示来提高模型的性能。在细节上，研究者通过两个自监督任务对模型进行微调，实验结果表明，这种方法在 CommonsenseQA、OpenbookQA 和 MedQA-USMILE 等三个基准测试中都达到了最优表现。

    Feb, 2023

  • 强化轻量级裂纹分割模型性能的鲁棒特征知识蒸馏

    该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在噪声图像上，RFKD 相比于最先进的知识蒸馏方法在平均 Dice 分数上提高了 62%。

    Apr, 2024

  • 借助双向知识传输释放 GNN 的潜力

    通过对特征转换操作在几种典型的 GNN 上的性能进行实证调查，我们注意到 GNN 没有完全释放内在特征转换操作的潜力。因此，我们提出了一种双向知识传递（BiKT）的方法，通过该方法，我们可以不修改原始架构解放特征转换操作的潜力，并在 GNN 和其衍生模型之间相互促进知识。通过理论分析，我们证明了 BiKT 从领域自适应的角度提高了 GNN 的泛化界限。在多达 7 个数据集和 5 种典型 GNN 的广泛实验中，BiKT 相对于原始 GNN 带来了 0.5% 至 4% 的性能提升，同时衍生模型也展现出强大的性能，甚至可以超越原始 GNN，从而在其他特定的下游任务中灵活应用。

    Oct, 2023

  • 知识追踪中基于进化的 Transformer 神经架构搜索

    本研究旨在通过使用卷积操作增强 Transformer 的局部上下文建模能力，提出一种进化神经架构搜索方法来自动选择输入特征，并自动确定何时应用哪种操作以实现局部 / 全局上下文建模的平衡，实验结果表明该方法能有效地找到最优体系结构。

    Oct, 2023

  • SGSH: 刺激大型语言模型生成基于知识库的问题的框架启发

    提出了 SGSH—— 一种基于骨架启发的框架，旨在通过使用骨架启发来增强 KBQG；通过自动数据构建策略和软提示方法，将骨架启发编码到提示中，以激励 GPT-3.5 生成所需的问题，并在 KBQG 任务上展现了最新的性能。

    Apr, 2024