基于常识 Transformer 的物化知识库

ACLDec, 2021

Materialized Knowledge Bases from Commonsense Transformers

Tuan-Phong Nguyen, Simon Razniewski

TL;DR本文回顾了由 Bosselut 等人（2019）提出的 COMET 方法，并探讨了利用预训练的语言模型直接生成通识知识的可能性。通过创建物化资源，本文分析了此方法的潜在精度和召回率，并确定了常见问题案例，并提供了物化资源可能实现的用例。本文认为，这些资源的公开对该领域的发展至关重要，因为它们实现了通用的知识并支持进一步的强化和弱化方面的分析。

Abstract

Starting from the COMET methodology by Bosselut et al. (2019), generating commonsense knowledge directly from pre-trained language models has recently received significant attention. Surprisingly, up to now no ma

commonsense knowledge pre-trained language models precision recall materialized resources

发现论文，激发创造

提升生物医学概念提取的规则增强方法

通过使用手工创建的概念映射工具 MetaMapLite，从 PubMed 和 PMC 生成额外的伪标注数据来增强有限的训练数据，本研究通过广泛的实验展示了通过训练一个更好的概念提取模型来解决生物医学概念提取任务中的数据稀缺和概念与其标准名称偏离的问题。

Jul, 2024

接近但不完全：提升视觉地点识别对地理距离的敏感性

通过采样具有视觉相似性的图像团体，我们的研究提出了一种新的挖掘策略 CliqueMining，以解决当前视觉地点识别嵌入中地理距离敏感性的限制，并显著提高召回率。

Jul, 2024

高低资源语言的开放领域对话中，预训练语言模型的语言可移植策略

本文研究使用大规模预训练语言模型（PLMs）在高资源语言中用于开放领域对话系统的语言可移植性策略，主要以法语作为目标低资源语言，通过不同方法评估在目标语言中使用 PLMs 的性能，包括神经机器翻译和 MAD-X Adapter 架构的应用。

Jul, 2024

通过隐式示范增强上下文学习

在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。

Jun, 2024

捕捉变色龙：检测使用大型语言模型生成的不断演变的虚假信息

探测不断演化的大型语言模型生成的虚假信息的研究问题，通过预训练语言模型的普遍事实核查能力和各种大型语言模型的独立虚假信息生成特征，提出一种参数高效的方法 DELD，通过序列连接模型的学习特征以促进知识积累和转换，并通过与可训练的软提示结合，解决标签稀缺的问题，实验证明该方法显著优于现有方法，对不同大型语言模型的虚假信息生成模式提供了重要洞察，为该领域研究提供了有价值的观点。

Jun, 2024

找出父级，然后标记子级：使用预训练语言模型的两阶段分类法完成方法

本文提出了名为 ATTEMPT 的两阶段方法，通过找到父节点并标记子节点的方式，将新概念插入正确的位置。利用预训练的语言模型进行上下位关系识别，通过合并本地节点和提示生成自然语句。实验结果表明，ATTEMPT 在分类系统补全和扩展任务上表现最佳，超过了现有方法。

Jun, 2024

评估大型语言模型在理解基数方向上的能力

探讨大型语言模型在基于基数方向的推理能力方面的研究，通过创建两个数据集，发现尽管在简单数据集中大型语言模型表现良好，但在更复杂的数据集中，即使温度设置为零，没有任何大型语言模型能够可靠地确定正确的基数方向。

Jun, 2024

评估心理健康问答分类基础模型的有效性

这项研究评估了基础模型在心理健康护理问题和回答分类中的效果，并发现预训练语言模型（PLMs）在捕捉语义意义方面具有非常好的结果，对于阿拉伯语的心理健康支持具有很大的潜力。

Jun, 2024

TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取

基于预训练语言模型的多任务提示学习框架（TemPrompt）结合了提示调整和对比学习来解决事件的演变以及任务请求的问题，实验结果表明在标准和少样本情况下，TemPrompt 在多个指标下优于其他基准模型，并通过案例研究验证了在众包场景中的有效性。

Jun, 2024

基于灵活演示检索器的数学问题知识标记系统

知识标记对于当代智能教育应用具有关键作用，本文探索采用大型语言模型（LLMs）自动化该任务，展示了 LLMs 在数学问题知识标记任务上零次和少次检测结果的强大性能，并通过提出基于强化学习的示范检索器，成功利用不同规模的 LLMs 实现更优异的性能结果同时保持上下文演示使用的高效性。

Jun, 2024