本文是一个对中心度和分类基于迭代术语集扩展方法在使用分布语义模型时的性能的短期实证研究。研究发现,在使用不同的分布模型和不同的术语集时,基于主动学习的分类方法始终优于基于中心度的方法。
Feb, 2018
本文提出了一种迭代的实体集扩展框架,利用自动生成的类名解决语义漂移问题,通过在预训练的语言模型中探测选择一个正类和若干负类,评分新的候选实体。实验表明,该框架可以生成高质量的类名,并显著优于以前的最新方法。
Apr, 2020
本文提出了 Self-Evolution 学习方法,利用自适应 Token 掩蔽和标签平滑正则化技术,全面且明智地利用数据中的知识,通过在 10 项任务中进行实验,证明了该方法在各种 PLMs 上带来了相应且显著的提升,可以提高语言知识的学习和推广。
May, 2023
SetExpander 是一个基于语料库的系统,可以将种子集中的词扩展为与之相同语义类别的完整词集,能被应用于自动化招聘系统和问题缺陷解决系统,使领域特定的细粒度语义类别的提取更加简便。
Aug, 2018
本文介绍了 SetExpander—— 一个语料库为基础的系统,用于扩展语义类别中种子术语的集合,使用迭代式端到端工作流实现了术语集扩展,已用于解决实际应用场景,例如集成到自动化招聘系统和问题解决系统中。
Jul, 2018
本文提出一个利用掩蔽语言模型和概率性扩展框架进行实体集扩展的方法,实验结果表明其在三个数据集上优于现有最先进方法。
Apr, 2022
该论文提出了一种基于预训练模型的医学槽位填充模型,通过对语义进行建模,实现医学对话中术语表达的准确匹配。自监督学习中使用的对比学习和掩码预测使得该模型在少样本的情况下也能够取得较好的准确率。
Mar, 2023
本文比较了多种词汇替换方法,使用包括 context2vec、ELMo、BERT、RoBERTa、XLNet 等在内的多种语言模型,并证明注入目标词信息后,能够进一步显著提高现有最佳语言模型的结果。作者还分析了不同模型或注释者给出的目标词和替代词之间的语义关系类型。
Jun, 2022
本研究提出了一种新的实体集扩展 (ESE) 范例,即独立于语料库的 ESE,并使用自回归语言模型自动生成高质量的上下文模式,通过 GAPA 框架扩展目标实体,并在三个广泛使用的数据集上进行了全面的实验和详细的分析,结果表明该方法非常有效。
Jul, 2022
本文提出了一种基于生成式预训练语言模型实现的实体集扩展框架(GenExpan),用自动化生成的类名引导模型生成目标实体,并提出了知识标定和生成排名以进一步填补语言模型通用知识与 ESE 任务目标之间的差距,实验结果表明 GenExpan 在扩展时间和扩展性能方面都优于现有 ESE 方法。
Apr, 2023