基于预训练语言模型的正则增强领域迁移主题分类：金融领域应用

May, 2023

基于预训练语言模型的正则增强领域迁移主题分类：金融领域应用

Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain

PDF

Vanessa Liao, Syed Shariyar Murtaza, Yifan Nie, Jimmy Lin

TL;DR本文探讨在 fine tuning 过程中采用正则表达式模式作为领域知识的特征以及注意力网络的应用，用于改善对下游文本分类任务的 fine tuning 效果。实验结果表明，相较于仅在特定领域文本上进行 fine tuning，采用这种方法可以提高下游文本分类任务的准确性。

Abstract

A common way to use large pre-trained language models for downstream tasks is to fine tune them using additional layers. This may not work well if downstream domain is a specialized domain whereas the large language model has been pre-trained on a generic corpus. In this paper, we disc

pre-trained language models fine tuning regular expression patterns domain knowledge attention network

发现论文，激发创造

低资源领域适应的多阶段预训练

本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

领域特定的 LLMs 的微调和利用方法

本研究探讨了对预训练大型语言模型（LLMs）进行微调和应用于特定领域的方法，重点关注 LLMs、基础模型和特定领域预训练方法的趋势。针对金融行业，研究详细介绍了数据集选择、预处理、模型选择和金融领域 LLM 微调的关键考虑因素。通过实例展示了 LLM 微调在金融领域的实际应用，包括股价预测、金融新闻情感分析、自动文档处理、信息提取和客户服务的增强。本研究旨在推进自然语言处理技术在商业领域的应用，建议积极利用 LLM 在金融服务等行业中的潜力。

Jan, 2024

通过扩展文本阅读理解提高领域适应性

通过使用领域特定的语料库继续预训练，结合基于正则表达式的模式处理阅读理解数据，以及引入 LMM 和聚类技术来增强阅读理解，本研究方法在领域特定任务上取得了超过 5% 的改进。

Jan, 2024

适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型

本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

Jun, 2021

域对抗微调作为有效的正则化器

介绍了一种新的正则化技术，使用对抗性目标来进行领域敌对微调，可以有效提高预训练语言模型在各种自然语言理解任务中的表现。

Sep, 2020

不要停止预训练：将语言模型适应于领域和任务

本研究通过研究不同领域和任务的分类模型，验证了在特定领域和任务上进行二次预训练（领域自适应和任务自适应预训练）可以显著提高性能，同时也发现多阶段适应预训练在任务表现上取得了大幅提升。

Apr, 2020

关于预训练语言模型的领域自适应和泛化：一项综述

本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了 PLMs 的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

Nov, 2022

构建领域特定的大型语言模型的高效连续预训练

本研究探讨了持续预训练作为开发面向特定领域的大型语言模型的一种替代策略，引入了通过领域自适应持续预训练在金融领域上开发的 FinPythia-6.9B，FinPythia 通过金融任务中持续预训练实现了稳定的改进，并进一步探索了简单而有效的数据选择策略，相较于常规的持续预训练方法，我们的数据选择策略在使用仅 10% 的语料库大小和成本时表现更好，在开放领域的标准任务上没有任何退化。本研究提出了一种以成本效益的方式构建面向特定领域的大型语言模型的替代解决方案。

Nov, 2023

SMART: 面向预训练自然语言模型的强健高效微调技术

本文提出一种基于 Bregman 的 Trust-Region 优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项 NLP benchmarks 上达到了最新的性能水平。

Nov, 2019

医学问题回答中领域特定语言模型的持续训练和微调

使用连续训练和指导微调的方法，快速适应中国医学领域的 Llama 2 基础模型，实验证实了该方法的有效性，产生了与 GPT-3.5-turbo 相媲美的模型，并且使用更少的计算资源。这个领域特定模型对于各种中国医学应用是有用的，并为领域特定训练提供了一个模板，用于那些预训练模型缺乏所需专业知识的领域，如法律、科学和工程。

Nov, 2023