Sep, 2022

SkIn: 使用 BERT 进行文本分类的医学语料库的快速筛选

PDF
TL;DR本文提出了一种名为 Skimming-Intensive Model （SkIn）的方法，通过模拟人类阅读长段落时的高效阅读方法，动态选择文本中的关键信息，从而缩短输入 BERT 模型的句子长度，有效降低分类算法的成本，该方法在医疗领域的长文本分类数据集上已经取得了比基线更优秀的准确性，同时其时间和空间要求随着文本长度的增加呈线性增长，缓解了基本 BERT 在长文本数据上的时间和空间溢出问题。
bertskimming-intensive modellong textmedical fieldclassification
发现论文，激发创造
  • 生物医学文献中实验方法的自动文本挖掘

    生物医学文献是一个迅速扩展的科学技术领域，本研究提出了 Fine-tuned DistilBERT 方法，这是一种专门针对生物医学文本的预训练生成分类语言模型，通过 40% 减小 BERT 模型尺寸和 60% 的速度提升，证明其在语言理解能力上的有效性。本论文的主要目标是改进模型并评估其性能，以与非 Fine-tuned 模型进行对比。我们使用 DistilBERT 作为支持模型，在包括 32,000 篇摘要和完整文本文章的语料库上进行了预训练，其结果令人印象深刻，超过了使用 RNN 或 LSTM 的传统文献分类方法。我们的目标是将这个高度专业和特定的模型整合到不同的研究行业中。

    Apr, 2024

  • 学习文本浏览

    本文针对 RNN 读取长文本过慢的问题，提出一种改进的 LSTM 模型，在保持相同或者更好的准确性的情况下，速度比标准的序列 LSTM 快多达 6 倍，适用于数字预测、情感分析、新闻文章分类和自动问答任务。

    Apr, 2017

  • DocBERT：文件分类的 BERT 模型

    本研究使用 BERT 进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决 BERT 推理的计算开销，研究者提出使用知识蒸馏技术，将 BERT 的知识转移到小型双向 LSTM 中，并使用 30 倍更少的参数达到了 BERT-base 相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

    Apr, 2019

  • BERT 面向长文档的案例研究：自动化 ICD 编码

    本研究证明了一种简单可扩展的方法，使用已有的 Transformer 模型（如 BERT）处理长文本在 ICD 编码上的表现明显优于以往，比 CNN-based 模型更为出色。

    Nov, 2022

  • SMedBERT：一种具有结构化语义的知识增强预训练医学文本挖掘语言模型

    本文介绍了 SMedBERT，一种从邻居的链接实体中融入深度结构化语义知识的医学预训练语言模型。实验证明，SMedBERT 在各种知识密集型的中文医学任务中明显优于强基线，并且还提高了其他任务的性能，如问题回答，问题匹配和自然语言推理。

    Aug, 2021

  • 基于分块的自注意力机制实现长文本理解

    BlockBERT 为一个高效的 BERT 模型，引入了稀疏块结构，以更好的建模长距离依赖关系，在语言模型预训练和基准问答数据集上进行了实验。与 RoBERTa 模型相比，BlockBERT 可以节省大约 27.8% 的推理时间，并具有可比甚至更好的预测准确性。

    Nov, 2019

  • 长文档分类的比较研究

    研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

    Nov, 2021

  • 利用 BERT 语言模型进行阿拉伯语长文档分类

    本文针对大量阿拉伯文文档分类问题，提出了两种简单而有效的机器学习模型，并对比了 RoBERT 和 Longformer 两个模型在不同数据集上的结果，结果显示我们的模型表现更优秀。

    May, 2023

  • 一种基于句子级分层 BERT 模型的有限标记数据文档分类方法

    本研究说明了一种基于层次 BERT 模型（HBM）的长文本分类方法，其可以在有限的标记实例数量下实现比现有技术更高的性能，并且可以被用来作为长文本解释的有用工具。

    Jun, 2021

  • 基于预训练语言模型的长篇临床文本比较研究

    本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

    Jan, 2023