Jan, 2023

文本分类任务中的成本 / 质量权衡：我应该选择哪种模型？

PDF
TL;DR本文对文本分类任务进行了量化分析，以分类准确性为主要指标，评估了各种模型的性能，包括大型语言模型及其相关成本，包括注释成本、训练成本和推理成本，并讨论了在需要大量推断样本的情况下的模型选择。其目的是为了帮助人们更好地理解文本分类任务的成本 / 质量权衡。
model selectiontext classificationcost analysisperformance evaluationlarge language models
发现论文，激发创造
  • 成本困境：大规模语言模型的泛化、评估和成本优化部署

    通过提出一个专为大型语言模型量身定制的泛化、评估和成本建模框架，我们认为在部署大型语言模型之前，企业需要仔细评估泛化、评估和成本优化三个因素。

    Aug, 2023

  • 测试时间预算上的鲁棒文本分类器

    提出一种通用且可解释的学习框架，以构建健壮的文本分类模型，在测试时间预算限制下实现与完整模型可比的准确性。该方法学习选择器来识别预测任务相关的单词，并将其传递给分类器进行处理。选择器与分类器一起进行训练，并直接学习与分类器相结合。我们进一步提出了一种数据聚合方案，以提高分类器的鲁棒性。我们的学习框架很普遍，可以与任何类型的文本分类模型结合使用。在真实数据上，我们展示了所提出的方法提高了给定分类器的性能，并在准确性性能稍微降低的情况下加快了模型的速度。

    Aug, 2018

  • 基于文本质量的修剪方法用于语言模型的高效训练

    本文提出了一种用于对大型未标记 NLP 数据集中的文本质量进行数值评估的新方法，以分配给文本实例一个 “质量分数”。通过提出文本质量度量标准，本文建立了一个框架来识别和消除低质量的文本实例，提高了 LM 模型的训练效率。实验结果表明，通过这种方法，在多个模型和数据集上可以获得显著的训练效果提升，并展示了资源高效的 LM 训练的潜力。例如，在使用 OpenWebText 数据集进行训练时，相对于较少的数据量和较快的训练速度，多个 LM 模型在 14 个下游评估任务上的平均绝对准确性提高了 0.9%，在使用 Wikipedia 数据集时，平均绝对准确性提高了 0.8%。

    Apr, 2024

  • 适应文本分类任务中性能与效率的权衡

    本文研究了不同的训练方法，使用预训练语言模型来进行文本分类。研究发现，在训练大型语言模型时，虽然标准微调和提示可以很好地运作，但是还有更有效的替代方法可以降低计算或数据成本。有趣的是，发现提示结合知识蒸馏可以同时降低计算和数据成本。

    Oct, 2022

  • 冰山之尖外：文本分类器的连贯性评估

    通过一种新的预测一致性评估框架来评估大规模预训练语言模型的能力，该框架可以快速、有效地提供对机器预测一致性的见解。

    Sep, 2021

  • 探究文本分类器的工作

    通过使用一些新的文本分类方法，我们研究了模型是否真正学习了组合句子的意义，或者仅仅关注一些关键词或词典。我们的结果表明，许多模型仍然只是关注词汇和关键词，因此我们提出了新的正则化技术来防止这种过拟合，并在实验中得到了良好的结果。

    Jan, 2018

  • 比较摘要模型需要多少注释？

    在这项研究中，我们通过实证研究了在新闻摘要领域选择最佳性能的模型所需的测试样本大小，发现只需要少于 100 个样本即可收敛，并且人类偏好数据可以在各种下游摘要任务中量化自动评分的能力。

    Feb, 2024

  • 在大语言模型时代中缓解文本分类中的边界不确定性和固有偏差

    这项研究发现大型语言模型在文本分类中受到选择数量和排列的变化的影响，为解决这个问题，提出了一种基于两阶段分类框架的方法，该方法通过减少决策空间和进行逐对比较来减轻边界的模糊性和内在偏差。通过对四个数据集的广泛实验证实了该框架的有效性，并使不同的大型语言模型取得了一致的改进。

    Jun, 2024

  • 何时略读何时深度阅读的学习

    本文介绍了两种方法以提高情感分类任务的计算效率：概率阈值方法和使用次级决策网络方法。实验表明，这两种方法都可以显著减少计算量并提高效率。

    Dec, 2017

  • 法律领域中常见文本分类方法的基于能量的比较分析

    该论文通过详细的定量比较大型语言模型和传统方法在性能、时间、能耗和成本等方面的表现，发现简单算法往往能够在性能接近的情况下以较低的能耗和资源需求获得结果，从而建议企业在选择机器学习方案时进行额外评估。

    Nov, 2023