KDDJun, 2023

旅游领域查询理解语言模型的持续预训练

PDF
TL;DR本研究提出了一种新的预训练语言模型 QUERT，通过四个特定的预训练任务对旅游查询领域的查询特征进行学习，进而提高下游任务的性能。在监督和非监督设置下，下游任务的平均性能分别提高了 2.02％和 30.93％。在 Fliggy APP 上的 A / B 测试中，QUERT 作为编码器应用，将唯一点击率和页面点击率提高了 0.89％和 1.03％。
pre-trained language modelsquertquery understandingtravel domain searchdownstream task improvement
发现论文，激发创造
  • 图增强 BERT 用于查询理解

    本文介绍了如何利用搜索日志构建查询图和使用 GE-BERT 框架来同时捕获查询的语义信息和用户搜索行为信息，以改进查询理解任务。

    Apr, 2022

  • REALM: 检索增强语言模型预训练

    本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。

    Feb, 2020

  • PERT: 使用排列语言模型对 BERT 进行预训练

    本文提出了一种新的预训练语言模型 (PERT)，它是一种自动编码模型，使用排列语言模型技术进行训练，并应用全词遮盖和 N-gram 遮盖以提高其性能。实验结果表明，PERT 可以在某些任务上比其他相似模型有更好的性能表现。

    Mar, 2022

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • LERT: 一种基于语言学动机的预训练语言模型

    本论文提出了一种名为 LERT 的预训练语言模型，通过使用一种称为语言信息预训练策略，使用三种类型的语言特征以及原始的 MLM 预训练任务来训练，对于十种汉语 NLU 任务，LERT 能够带来显着的改进。

    Nov, 2022

  • ANNA: 增强语言表达能力用于问答

    本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的标记，从而捕捉预训练语言建模的上下文丰富性。我们的最佳模型在 SQuAD 1.1 上实现了 95.7％的 F1 和 90.6％的 EM，也在 SQuAD 2.0 基准上超过了现有的预训练语言模型，如 RoBERTa，ALBERT，ELECTRA 和 XLNet。

    Mar, 2022

  • 基于无监督领域自适应的方言搜索查询翻译

    该研究提出了一种无监督领域适应方法，用于翻译搜索查询，使用了基于公共语料库训练的开放领域翻译模型，并使用两种语言的单语查询来调整该模型以适应查询数据，最终改进了 Hindi 到英文查询翻译的性能。

    Aug, 2022

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024

  • ColloQL：搜索查询的跨领域文本转 SQL 的鲁棒性解决方案

    使用数据增强技术和基于采样的内容感知 BERT 模型 (ColloQL) 实现了鲁棒的自然语言搜索 (NLS) 查询的文本到 SQL 建模，评估表明该方法优于现有技术。

    Oct, 2020

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023