Jun, 2022

使用 Transformers 的自然语言处理在保险精算中的应用：在文本特征中的案例研究

PDF
TL;DR本教程介绍了将文本数据纳入精算分类和回归任务的工作流程，重点介绍了使用基于 transformer 模型的方法。通过对一组包含 400 个单词的汽车事故的描述和一组短期财产保险索赔描述的数据集进行演示，探讨了多语言环境和长输入序列等挑战性问题，同时展示了解释模型输出、评估和改进模型性能的方法，通过在应用领域或特定预测任务上对模型进行微调，提供了实现分类任务处理的实用方法。使用仅经过最少预处理和微调的现成自然语言处理 (NLP) 模型的语言理解技巧所实现的结果，充分展示了迁移学习在实际应用中的威力。
actuarial classificationtransformer-based modelsmulti-lingual settinginterpret model outputnlp models
发现论文，激发创造
  • 通过 Transformers 提升精算非寿险定价模型

    我们的研究通过使用 Transformer 模型来增强精算非寿险模型，展示了在实际索赔频率数据集上相较于传统模型如广义线性模型、前馈神经网络等所取得的更好结果，同时讨论了在精算场景中应用 Transformer 模型的实际意义和挑战。

    Nov, 2023

  • 使用 Transformer 模型对长文本进行建模的调查

    本篇论文综述了最新的基于 Transformer 模型的长文本建模技术，其中介绍了长文本模型的定义、如何满足输入长度限制和改进 Transformer 的架构以有效扩展最大上下文长度，以及如何适应长文本的特殊特性。并且描述了长文本建模的四个典型应用，并探讨了未来的研究方向。

    Feb, 2023

  • 大型预训练语言模型在自然语言处理中的最新研究进展：综述

    本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

    Nov, 2021

  • 神经网络少样本文本分类的现实检验

    本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

    Jan, 2021

  • 大型语言模型的概念与实施调查

    基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。

    Mar, 2024

  • 基于 Transformer 的法律文本处理方法

    本文介绍一种基于 Transformer 模型的方法，以解决 COLIEE 2021 自动法律文本处理竞赛中的不同问题，并详细描述了每个任务的处理步骤，包括问题公式化、数据处理和增强、预训练和微调。此外，本文还介绍了两个在法律领域利用平行翻译的预训练模型 NFSP 和 NMSP，其中 NFSP 在该竞赛的任务 5 中取得了最优结果。

    Feb, 2022

  • Transformer 简介：自然语言处理视角

    介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

    Nov, 2023

  • 神经语言模型解剖

    通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。

    Jan, 2024

  • 电子病历中基于 Transformers 的方法应用：一项系统文献综述

    该文是关于基于 Transformer 的自然语言处理（NLP）应用到电子病历（EMR）领域的最新研究进展的系统文献综述，涵盖了业务问题、NLP 任务、模型和技术、数据集可用性、建模再现性、语言和交换格式等方面。通过分析当前研究的局限性和未来研究建议，该文提供了有关该领域 Transformer-based 方法的综合评估。

    Apr, 2023

  • 利用 Transformers 自然语言处理方法对巴西法院文件进行相似性聚类

    本研究运用 BERT、GPT-2 和 RoBERTa 等 6 种转换器以及 21 万份法律诉讼专业化训练模型，通过将文件预处理十分相似的信息转化为向量、使用无监督学习方法聚类控制进行法律领域的词语判定，体现出转换器模型的优点。在这其中，RoBERTa 模型得到了进一步发展，成为了本研究的重要部分。

    Apr, 2022