May, 2020

BERT 与传统机器学习文本分类的比较

PDF
TL;DR本文通过实验测试，比较机器学习中经典的 TF-IDF 法与 BERT 模型在 NLP 任务中的表现，并为使用 BERT 模型提供了实证支持，结果表明 BERT 模型在 NLP 问题中表现更优秀、更独立。
发现论文，激发创造
  • 小语料下 LSTM 和 BERT 的对比

    本文利用小型数据集对比了双向 LSTM 模型和预训练 BERT 模型的表现，结果表明对于小数据集，使用双向 LSTM 模型的性能显著优于使用 BERT 模型，且训练时间更短，因此在选择模型时需要考虑任务和数据等因素。

    Sep, 2020

  • DocBERT：文件分类的 BERT 模型

    本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

    Apr, 2019

  • 长文档分类的比较研究

    研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

    Nov, 2021

  • BERT 用于情感分析：预训练和微调的替代方案

    本文进行了一项针对语言模型 BERT 的情感分析任务的实验性研究，重点分析了如何更好地处理 BERT 输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现 BERT 在大多数情况下与 TF-IDF 相比取得了更高的预测性能，但 TF-IDF 在预测性能和计算成本之间达到了良好的平衡。

    Jan, 2022

  • 利用 BERT 进行信息检索：调查、应用、资源和挑战

    近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以 BERT 为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的 BERT 编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。

    Feb, 2024

  • BERTopic: 一种基于类别的 TF-IDF 过程的神经主题建模方法

    BERTopic 是一种主题模型，通过 BERT 语言模型生成文档嵌入，并利用 TF-IDF 进行聚类和生成主题，具有较高的性能。

    Mar, 2022

  • 将 BERT 引入神经机器翻译

    本文提出了一个名为 BERT-fused 的算法，通过在 NMT 模型的编码器和解码器的每个层中使用 BERT 提取表示并通过注意机制融合，实现了在监督、半监督和无监督机器翻译上取得了最先进的结果。

    Feb, 2020

  • 特征工程与 BERT 在 Twitter 数据上的比较

    通过比较传统机器学习模型使用特征工程和词向量与最先进的语言模型 BERT 使用词向量在三个数据集上的表现，并考虑特征工程与 BERT 的时间和成本效益。研究证明，在三个数据集中，BERT 模型只有在其中一个数据集上胜于传统的特征向量分类器，使用 BERT 模型可以获得 0.03 和 0.05 的准确度和 F1 分数的提高，其中 BERT 模型表现显着优于传统分类器。因此，在该数据集上使用 BERT 模型值得花费时间和成本，而在其他数据集上则不值得。

    Oct, 2022

  • 基于自然语言处理和机器学习方法的检测人工智能生成的文本

    自然语言处理、人工智能、AI 检测模型、BERT 架构和 AI 生成文本识别是该研究的五个关键词。

    Apr, 2024

  • 使用 BERT 进行神经机器翻译

    该论文研究了利用 BERT 预训练模型对神经机器翻译任务进行有监督学习，探究整合预训练模型和神经机器翻译模型的方法，以及 BERT 训练中单语数据对最终翻译质量的影响。作者使用了英德和英俄数据集进行评估，并通过在领域外测试集和注入噪声测试集上进行评估以评估 BERT 预训练表示对模型鲁棒性的影响。

    Sep, 2019