针对任务的嵌入用于前处理可解释文本分类

Nov, 2022

针对任务的嵌入用于前处理可解释文本分类

Task-Specific Embeddings for Ante-Hoc Explainable Text Classification

Kishaloy Halder, Josip Krapac, Alan Akbik, Anthony Brew, Matti Lyra

TL;DR本文提出了一种基于 k 最近邻分类的替代方法，学习任务特定的文本嵌入表示方式，从而实现解释性和增量学习，而不影响分类准确性。

Abstract

Current state-of-the-art approaches to text classification typically leverage BERT-style Transformer models with a softmax classifier, jointly fine-tuned to predict class labels of a target task. In this paper, we instead propose an alternative training objective in which we learn task

text classification bert model k-nearest-neighbor classification interpretable incremental learning

发现论文，激发创造

文本分类的多任务标签嵌入

本文提出了 Multi-Task Label Embedding 模型，将文本分类中的标签转换为语义向量，从而将原始任务转化为向量匹配任务，利用任务间的语义相关性进行多任务学习，有效提升相关任务的性能。

Oct, 2017

文字分类的词与标签联合嵌入

采用标签 - 词汇联合嵌入法和注意力机制的词嵌入模型，用于文本分类并保持了词嵌入的可解释性，同时提供了利用其他信息的能力。在多个大型文本数据集上实验表明，该方法在准确率和速度方面均优于现有最先进方法。

May, 2018

从图像到文本分类：一种基于聚类词嵌入的新方法

本文提出了一种基于聚类词向量的文本分类方法，使用 K 均值算法构建超级词向量表征，建立特定于类别的词汇表以提高性能，在主题分类和极性分类任务中表现优异。

Jul, 2017

面向任务的词向量学习用于语义关系分类

本文介绍了一种新颖的学习方法，用于关系分类的单词嵌入训练，并使用无标注语料库上的词汇关系特定特征预测名词对之间的单词，以将关系特定信息显式地纳入单词嵌入中。通过使用所学习的单词嵌入来构建特征向量，用于关系分类模型。在一个基于语义关系分类任务中，我们的方法表现显著优于基于之前介绍的单词嵌入方法的基准线，并与使用句法信息或手动构造的外部资源的先前最先进的模型相比，表现出了比较良好的结果。

Feb, 2015

神经网络时间关系分类的词级损失扩展

本文介绍了一种利用无标签文本数据的无监督预训练词向量，通过加入未监督辅助损失（unsupervised auxiliary loss）来扩展分类模型的任务损失，确保学习到的词表示包含了从监督损失组件中学到的 task-specific 特征和从未监督损失组件中学到的更通用的特征，并在临床记录的叙述包含关系抽取任务上对其进行了评估，使用通用类型的词性标注器作为语言资源，在 THYME 数据集上实现了技术上的提高。

Aug, 2018

使用通用和特定词嵌入来分类研究的翻译阶段

本文探讨使用无监督学习的方法，通过单词嵌入在词向量空间内学习语义相似性，以实现对文本分类任务的性能优化。研究发现，使用领域特定的词嵌入可以提高分类性能。

May, 2017

利用预训练语言模型生成通用文本嵌入以实现可扩展推断

研究使用共享文本编码器实现多任务推理以及使用二进制量化减少数据存储大小的方法，证明预训练的编码器在多个任务上表现的泛化性好。

Apr, 2020

层次文本分类的高效策略：外部知识和辅助任务

本文利用类定义的词嵌入作为条件来预测下一层分类，并采用合适的搜索方法，以较少的参数数在两个著名的英语数据集上优于先前的研究。

May, 2020

Task2Vec: 元学习任务嵌入

本文介绍了一种提供视觉分类任务向量表示的方法，该表示可用于推断任务及其关系的性质，并提供了独立于细节（如类标签语义的理解等）的任务的固定维度嵌入。我们还展示了该框架的实用价值以及通过学习嵌入度量来选择预训练特征提取器的简单元学习框架。选择具有任务嵌入的特征提取器可获得接近最佳特征提取器的性能，而成本则显著低于对所有可用特征提取器进行详尽的训练和评估。

Feb, 2019

具有鉴别性聚类嵌入的小型文本分类器

通过学习硬词聚类并使用 Gumbel-Softmax 分布最大化潜在聚类并最小化任务误差，我们减少了神经自然语言处理方法中嵌入参数的模型大小。我们提出了一些变体，可以选择性地为单词分配额外的参数，从而在仍然保持参数有效的情况下进一步提高准确性。

Jun, 2019