LaFiCMIL：从相关多示例学习的视角重新思考大型文件分类

Jul, 2023

LaFiCMIL：从相关多示例学习的视角重新思考大型文件分类

LaFiCMIL: Rethinking Large File Classification from the Perspective of Correlated Multiple Instance Learning

Tiezhu Sun, Weiguo Pian, Nadia Daoudi, Kevin Allix, Tegawendé F. Bissyandé...

TL;DR利用 Transformer-based 模型作为特征提取器，我们提出的 LaFiCMIL 方法在各种大文件分类任务中，包括二分类、多类别分类和多标签分类任务，跨越了自然语言处理、编程语言处理和 Android 分析等多个领域，在克服输入限制问题方面取得了出色的性能表现，并在八个基准数据集上实验结果表明，相比单个 Tesla V-100 GPU 的 32G 内存限制下，我们能将 BERT 扩展到近 20K 的令牌数量。

Abstract

transformer-based models have revolutionized the performance of a wide range of language tasks. Intuitively, one might expect text classification, which does not necessitate as many high-level representations as generative tasks, to be comprehensively addressed with the powerful repres

transformer-based models multi-class classification multi-label classification input limit problem bert-family models

发现论文，激发创造

TransMIL: 基于 Transformer 的相关多示例学习技术用于全切片图像分类

提出一种新的相关 MIL 框架 (correlated MIL) 以及设计一个基于 Transformer 的 MIL (TransMIL)，并探索形态和空间信息，对于三个不同的计算病理学问题，比现有方法具有更好的性能和更快的收敛速度，在二元肿瘤分类上的测试 AUC 可以达到 93.09％，在 TCGA-NSCLC 数据集和 TCGA-RCC 数据集上，癌症亚型分类的 AUC 分别可以达到 96.03％和 98.82％。

Jun, 2021

突破标记障碍：BERT 进行高效长文本分类的分块和卷积

本文提出了一种相对简单的对原有 BERT 模型的扩展方法，称为 ChunkBERT，它可以允许在任意长文本上进行预训练模型的微调和推理，实验证明使用 ChunkBERT 方法微调的 BERT 模型在长文本分类任务上表现一致，并且仅占用原始内存的一小部分（6.25%）。

Oct, 2023

使用 Transformer 高效分类长文档

本文提供了一个广泛的长文本分类的基准测试方法，包括二分类、多分类、多标签分类任务，研究发现更复杂的模型并不总是优于简单的基准模型，并且在不同数据集上表现不稳定，因此需要未来研究考虑更全面的基准模型和数据集以开发出更为稳健的模型。

Mar, 2022

CICLe：大规模多类食品风险分类的一致上下文学习

污染或掺假食品对人类健康构成重大风险，我们提供了一个包含 7,546 个短文本的数据集，描述公共食品召回通知，通过机器学习和自然语言处理自动检测食品风险，并基于数据集进行了基于逻辑回归的 tf-idf 表示的模型性能比较，最终提出了一种基于 Conformal Prediction 的 LLM-in-the-loop 框架，提高基础分类器的性能，并降低了能源消耗。

Mar, 2024

一种基于多模型的深度学习框架，用于处理不平衡和非常小的数据集进行短文本多分类

本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。

Jun, 2022

模型融合是否有助于长文档分类的 Transformer？实证研究

通过比较模型融合与 BERT 和 Longformer 架构的结果，研究探讨了在长文档分类中采用模型融合的方法。

Jul, 2023

长文档分类的比较研究

研究长文档分类任务使用标准的机器学习方法（如 Naive Bayes 和 BERT），在六个文本分类数据集上进行了广泛的算法比较研究，发现 BERT 模型性能稳定良好，但基于传统机器学习模型（如 BiLSTM 和 GloVe）也能在大多数数据集上表现出色，只在较困难的数据集（如 IMDB 情感分析）中对性能提升明显。

Nov, 2021

高效多示例多标签学习

本文提出了一种名为 MIMLfast 的方法来解决大规模数据集上的多实例多标记学习问题，该方法通过构建在所有标签之间共享的低维子空间并训练标签特定的线性模型来优化近似排名损失，并探索复杂标签的子概念以实现良好性能，该方法时间成本大大降低。

Oct, 2013

BERT 面向长文档的案例研究：自动化 ICD 编码

本研究证明了一种简单可扩展的方法，使用已有的 Transformer 模型（如 BERT）处理长文本在 ICD 编码上的表现明显优于以往，比 CNN-based 模型更为出色。

Nov, 2022

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023