Feb, 2023

提高自然语言处理变形金刚模型长期的分类可靠性

PDF
TL;DR本研究比较不同方法用于长期分类任务的 BERT 模型的微调，发现使用所有可用的未标记评论来微调模型是最佳解决方案，而仅关注模型之前未遇到的单词的评论并不可取，其中一个更有效的解决方案是从新时期的评论中随机抽样评论。
transformer-based machine learningbert modelfine-tuningcovid-19 vaccinationclassification task
发现论文，激发创造
  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • 聚类与调参：提高文本分类的冷启动性能

    本文提出一种方法，通过在预训练和微调阶段之间添加一个中间的无监督分类任务来提高文本分类任务的性能，该任务使用聚类作为中间任务，并表明这种额外的分类阶段可以显著提高性能。

    Mar, 2022

  • 基于 Transformer 的语言模型微调方法在 COVID-19 假新闻检测中的应用

    本文提出了一种基于变压器的语言模型微调方法，用于检测 COVID-19 假新闻，该方法通过扩展专业短语的语义，适应热身 softmax 损失以区分硬挖掘样本，并通过对抗性训练提高模型的鲁棒性，采用 RoBERTa 和领域专用模型 CT-BERT 提取预测特征，并由一个多层感知器融合细粒度和高级别的特定表示。经 COVID-19 假新闻数据集评估，实验结果在各种评估指标上都表现优越，最好的加权平均 F1 得分为 99.02％。

    Jan, 2021

  • 使用 Transformer 高效分类长文档

    本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。

    Mar, 2022

  • 为生物医学自然语言处理调整大型神经语言模型

    本文系统研究了微生物 NLP 中 fine-tuning 的稳定性，提出了一系列技术来解决这个问题，并通过领域特定词汇和预训练来建立更健壮的模型。

    Dec, 2021

  • 探索和评估个性化代码生成模型

    本文探讨评估 Transformer 模型微调来进行个性化编码生成，考虑三种方法：（i）自定义微调，（ii）轻量级微调，（iii）前缀微调，比较它们的效果和成本效益。

    Aug, 2022

  • 使用未标记数据对基于 Transformer 的模型进行领域自适应，用于德语客户反馈的相关性和极性分类

    利用不同基于 Transformer 的模型探索分析德语顾客反馈数据集的效率，进一步分析预训练模型是否使用无标签数据适应特定领域会比现成模型获得更好的结果，实验结果表明，这些预训练模型取得了显著改进，超过了已发表的成绩和以前的模型。

    Dec, 2022

  • 零样本基于提示的分类：德语推文中的主题标签

    基于最新的自然语言处理技术，本研究通过使用基于写作指南的文本对文本界面而无需提供培训样本的方法，评估其在实际应用中自动化注释任务中的效果，结果表明即使受到本地计算资源限制，这种以提示为基础的方法与经过优化的 BERT 模型相当，且无需任何已标记的训练数据。

    Jun, 2024

  • 基于大型预训练语言模型的实用文本分类

    本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。

    Dec, 2018

  • 面向领域的去噪序列到序列模型微调在自然语言摘要中的应用

    通过自然语言处理技术，对长文本数据进行自动摘要，采用数据增强和微调等策略进行优化，可以大幅提高摘要的准确性，本文采用最先进的 NLP 模型 BART 进行研究，并提供了一种端到端的优化策略，使得在金融、医疗或其他特定领域的数据上，其 ROUGE-1 指标达到了绝对提升 5-6% 的水平。

    Apr, 2022