latent knowledge | BriefGPT

关键词latent knowledge

搜索结果 - 6

LLMs 中可靠的潜在知识估计：与上下文学习相比，基于提示的事实知识提取
我们提出了一种估计大型语言模型中嵌入的潜在知识的方法，该方法利用了大型语言模型的上下文学习能力来估计模型对存储在知识库中的事实的了解程度，并且我们的知识估计器避免了以前的提示式方法中存在的可靠性问题，且在概念上更简单且更易于应用，我们证明它
PDF2 months ago
无监督 LLM 知识发现中的挑战
现有的无监督方法无法发现知识，而似乎只发现活跃性的主要特征。我们首先从理论上证明了任意特征（不仅仅是知识）满足一种特定的领先无监督知识引出方法的一致性结构。然后通过一系列实验展示了未监督方法在某些情况下会导致分类器预测非知识的明显特征。我们
PDF7 months ago
预训练语言模型的知识沉淀
本文提出了一种新的范式，名为知识反刍，旨在帮助预训练语言模型利用潜在的知识并将其注入模型以提高下游任务的表现，实验证明这种方法对于不同类型的语言模型都是有效的。
PDFa year ago
Thistle：Rust 编写的向量数据库
Thistle 是一个功能完备的向量数据库，使用多个著名算法，在 MS MARCO 数据集上进行基准测试。结果有助于澄清潜在知识领域和不断壮大的 Rust ML 生态系统。
PDFa year ago
无须监督，发现语言模型中的潜在知识
提出了一种使用纯无监督方式直接在语言模型的内部激活中查找潜在知识的方法，通过在激活空间中找到满足逻辑一致性属性的方向，可以精确回答只有未标注模型激活的肯定 - 否定问题。在跨 6 个模型和 10 个问答数据集的情况下，尽管不使用监督和模型输
PDF2 years ago
DE-RRD: 推荐系统知识蒸馏框架
本文提出了一种新的知识蒸馏框架，DE-RRD，用于推荐系统，该框架使得学生模型能够从教师模型中编码的潜在知识和教师的预测中学习。实验证明，DE-RRD 的性能优于现有的竞争对手，并且具有更快的推断时间。
PDF4 years ago