ACLApr, 2023

车辆维修领域可能使用的材料学习 —— 以钢材为例？

PDF
TL;DR我们提出了一种新的方法，通过探究预训练的语言模型（PLMs）中的填充式任务设置来学习车辆维修领域中组件的特定于领域的可能材料，以克服缺少注释数据集的问题。我们设计了一种新的方法来汇总一组填充式查询模板中显著的预测结果，并表明使用小型、高质量或定制的维基百科语料库的领域自适应可以提高性能。进一步地，鉴于我们领域特定的组件中 98％都是多个单词表达式，我们成功地利用组成假设作为解决数据稀疏性的方法。
发现论文，激发创造
  • 使用日本报纸和付费墙对领域特定预训练语言模型的记忆量进行量化

    使用限定语料库的日本报纸文章预训练领域特定的 GPT-2 模型，研究发现领域特定的预训练语言模型在生成过程中有大规模的复制粘贴行为，而且记忆与重复、模型大小和提示长度等因素相关。

    Apr, 2024

  • 利用语言表示进行物料推荐、排序与探索

    通过使用来自材料科学特定语言模型的自然语言嵌入作为成分和结构特征的表示方法，我们介绍了一种材料发现框架，并将其应用于热电材料，展示了原型结构的多样化推荐和识别出了未充分研究的高性能材料空间，其中包括卤化物钙钛矿、德拉福石和尖晶石结构。

    May, 2023

  • KALA: 知识增强语言模型适应

    本文提出了一种面向特定领域的 PLMs 领域适应框架 ——KALA（Knowledge-Augmented Language model Adaptation），通过引入实体和关系事实的领域知识来调制 PLMs 的中间隐藏表示，有效地提高了 PLMs 在不同领域的问答和命名实体识别任务上的性能，而且计算效率比自适应预训练要高。

    Apr, 2022

  • 关于预训练语言模型的领域自适应和泛化：一项综述

    本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

    Nov, 2022

  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • 领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

    本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

    Jun, 2023

  • 探究大型预训练语言模型在机器翻译中的应用：你所不知道的

    本研究评估了大小不同的预训练语言模型（PLMs），并比较了它们在不同领域机器翻译任务中的性能表现，结果表明，对于临床数据而言，相对较小的 Marian 模型表现更好。

    Sep, 2022

  • 能否在因果发现算法中利用预训练语言模型？

    通过对物理启发的合成数据进行实验，我们在本文中实证了基于预训练语言模型的因果推理的前述局限性，并提出了一种新的框架，将来自预训练语言模型的先验知识与因果发现算法结合起来，以初始化用于因果发现的邻接矩阵，并利用先验知识进行正则化，我们提出的框架不仅通过集成预训练语言模型和因果发现来提高性能，还建议如何利用预训练语言模型提取的先验知识与现有的因果发现算法结合。

    Nov, 2023

  • AdapterSoup: 利用权重平均来提高预训练语言模型的泛化能力

    介绍了一种称为 AdapterSoup 的方法，通过对具有不同超参数的预训练语言模型适配器进行权重平均化从而提高在新领域的性能，同时使用文本聚类等方法选择哪些适配器进行组合，有效解决了在资源受限或领域特定问题下适配器训练的实践性问题。

    Feb, 2023

  • 给我事实！关于预训练语言模型的事实知识探测调查

    对预训练语言模型进行事实知识探测的方法和数据集进行了调研，并提出了一种基于输入、输出和被探测模型适应性的事实探测方法分类方案，综合分析了语言模型中的知识保留和提示优化问题，讨论了采用语言模型作为知识库的障碍和未来研究方向。

    Oct, 2023