EMNLPOct, 2020

TopicBERT 用于能效文档分类

PDF
TL;DR采用一个名为 TopicBERT 的统一框架，通过同时学习主题模型和语言模型的方式，大大减少了自注意力操作的数量，从而优化了文档分类的微调计算成本，实现了 1.4x（约 40%）的加速和约 40% 的 $CO_2$ 排放量的减少，同时保持了 5 个数据集 99.9% 的性能。
bertcomputational costfine-tuningtopicbertdocument classification
发现论文，激发创造
  • BERT 微调的能源和碳考虑

    量化细调在自然语言处理中的能量成本和碳排放，研究发现细调的计算成本与预训练和推理相比可以得到更好的能量效率。

    Nov, 2023

  • 基于预训练句子嵌入的长文档分类的注意力机制

    通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

    Jul, 2023

  • DocBERT：文件分类的 BERT 模型

    本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

    Apr, 2019

  • BERTopic: 一种基于类别的 TF-IDF 过程的神经主题建模方法

    BERTopic 是一种主题模型，通过 BERT 语言模型生成文档嵌入，并利用 TF-IDF 进行聚类和生成主题，具有较高的性能。

    Mar, 2022

  • 基于分块的自注意力机制实现长文本理解

    BlockBERT 为一个高效的 BERT 模型，引入了稀疏块结构，以更好的建模长距离依赖关系，在语言模型预训练和基准问答数据集上进行了实验。与 RoBERTa 模型相比，BlockBERT 可以节省大约 27.8% 的推理时间，并具有可比甚至更好的预测准确性。

    Nov, 2019

  • EdgeBERT：面向延迟感知的多任务 NLP 推理的句子级能耗优化

    EdgeBERT 是一种算法硬件协同设计，提供基于熵的早期退出预测，以进行动态电压频率缩放 (DVFS)，从而实现最小能耗，同时遵循预定的目标延迟，以适应资源受限的边缘平台，在最小的计算和存储占用开销下，提供多任务自然语言处理 (NLP) 加速，相比于传统的推理方法，无限制的早期退出方法以及在 Nvidia Jetson Tegra X2 移动 GPU 上的 CUDA 适配，EdgeBERT 硬件系统在激活多任务 NLP 推理加速方面，能够生成高达 7x，2.5x 和 53x 的低能耗。

    Nov, 2020

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • TCBERT：中文主题分类 BERT 技术报告

    本研究探讨了在中文主题分类任务中使用基于双向编码器的转换器 (BERT) 的有监督连续预训练，通过引入 prompt-based learning 和 contrastive learning 来提高其性能，并使用大约 2.1M 条涵盖各种主题的中文数据进行了实验。预训练的中国主题分类 BERT（TCBERTs）已在此网址开源。

    Nov, 2022

  • 使用学习者高效微调压缩语言模型

    本论文提出使用学习模块和启动技术进行预训练模型的微调，以达到在更短的时间内得到更好效果的目标。实验证明，Learner 模块和 priming 可以在训练速度、资源利用等方面有较大提升。

    Aug, 2022

  • ALBERT: 自监督学习语言表示的轻量级 BERT

    本文提出两种参数缩减技术，结合一个以自我监督方式处理句间连贯的损失函数，成功地使用更少的参数将 BERT 模型的性能扩展至其他基准测试集，包括 GLUE，RACE 和 SQuAD。

    Sep, 2019