Apr, 2023

BERT 模型进行开放性问题的多标签分类

PDF
TL;DR本研究比较了基于 BERT 的多标签分类系统与传统的多标记算法的性能，在德语社会科学调查 GLES Panel 中，BERT（至少强制一个标签）的分类具有最小的 0/1 损失，为 13.1％，因此表明 BERT 对于多标签问题的处理是有效的。
open-ended questionsmulti-label classificationbertsocial science surveysgerman language
发现论文，激发创造
  • 针对具有适度大标签空间的商业相关文本的不平衡多标签分类

    比较了四种不同的方法在特定数据集上的多标签文本分类性能，结果表明，精细调整的 BERT 表现出较高的准确性，F1 得分，精确度和召回率，相比于其他三种方法表现更好。这些发现突出了 fine tuned BERT 在多标签文本分类任务中的有效性，并暗示它在分析复杂文本方面可能是一种有用的工具。

    Jun, 2023

  • 利用标签层次结构采用辅助度量的多答案问句任务用于极端多标签文本分类

    本研究提出了一种基于多答案提问任务的极端多标签分类方法和辅助分类评估指标，并将其应用于法律领域，结果表明该方法在 EURLEX 数据集上能够完成极端多标签分类。

    Mar, 2023

  • 连接人文社科：应用语言与语音技术于在线问卷调查

    本文研究如何运用语音和语言技术处理荷兰面板调查中的开放性问题，使用自动语音识别处理口头回答并使用 transformer 模型进行情感分析和主题模型分析。

    Feb, 2023

  • 多级多类别科学多选考试问题分类

    研究使用细粒度分层分类法的最大挑战数据集，与基于 BERT 模型的算法相比，可以大大提高问题分类的准确度以及进一步改善问题回答系统的性能。

    Aug, 2019

  • 使用未标记数据对基于 Transformer 的模型进行领域自适应，用于德语客户反馈的相关性和极性分类

    利用不同基于 Transformer 的模型探索分析德语顾客反馈数据集的效率，进一步分析预训练模型是否使用无标签数据适应特定领域会比现成模型获得更好的结果，实验结果表明，这些预训练模型取得了显著改进，超过了已发表的成绩和以前的模型。

    Dec, 2022

  • 使用 Transformer 语言模型对社会政治文本进行零样本排序以减少读取时间

    使用基于 Transformer 的 DeBERTa 模型将分类问题转化为蕴含问题，使得排名最高的文档可以被视为正分类文档，从而缩短信息抽取过程中的阅读时间，并发现一定的召回率下，使用声明性形式的类别标签作为查询可以优于使用字典定义的类别标签。同时研究表明，随着主题范围的扩大，应阅读的文档百分比会增加。

    Oct, 2022

  • 用图神经网络增强的语言模型进行高效的多语言文本分类

    提出了一种基于图神经网络和变压器的跨语言灾难相关文本分类系统，该系统可以在有限的监督下工作，并在多种语言和单语言情境下进行分类。在英语、非英语和单语数据集上测试，该系统的加权 F1 值优于现有的最先进模型和多语言 BERT 基线。

    Mar, 2022

  • 零样本基于提示的分类：德语推文中的主题标签

    基于最新的自然语言处理技术，本研究通过使用基于写作指南的文本对文本界面而无需提供培训样本的方法，评估其在实际应用中自动化注释任务中的效果，结果表明即使受到本地计算资源限制，这种以提示为基础的方法与经过优化的 BERT 模型相当，且无需任何已标记的训练数据。

    Jun, 2024

  • BERT 与传统机器学习文本分类的比较

    本文通过实验测试，比较机器学习中经典的 TF-IDF 法与 BERT 模型在 NLP 任务中的表现，并为使用 BERT 模型提供了实证支持，结果表明 BERT 模型在 NLP 问题中表现更优秀、更独立。

    May, 2020

  • BERT 用于情感分析：预训练和微调的替代方案

    本文进行了一项针对语言模型 BERT 的情感分析任务的实验性研究，重点分析了如何更好地处理 BERT 输出层的不同嵌入以及使用与多语言模型相比更适合巴西葡萄牙语的语言模型的聚合策略和技术，并发现 BERT 在大多数情况下与 TF-IDF 相比取得了更高的预测性能，但 TF-IDF 在预测性能和计算成本之间达到了良好的平衡。

    Jan, 2022