IJCAIApr, 2024

PEACH: 预训练嵌入在上下文和层次结构中解释

PDF
TL;DR我们提出了一种新颖的基于树结构的解释技术 PEACH，它可以使用任何预训练的上下文嵌入以人可解释的方式解释文本文档的分类。使用 PEACH，我们对九个不同的 NLP 文本分类基准进行了全面分析，并通过人可解释的词云树来可视化特征选择和文本分类的重要趋势，同时明确了模型的错误并辅助数据集调试。除了解释性外，PEACH 在性能上优于或与预训练模型相似。
tree-based explanation techniquepeachcontextual embeddingsnlp text classificationinterpretability
发现论文，激发创造
  • 针对任务的嵌入用于前处理可解释文本分类

    本文提出了一种基于 k 最近邻分类的替代方法，学习任务特定的文本嵌入表示方式，从而实现解释性和增量学习，而不影响分类准确性。

    Nov, 2022

  • 预训练是热门话题：上下文化文档嵌入提高了主题相关性

    本文介绍了关于主题模型的研究，探讨了如何将 contextual embeddings 应用于 neural topic models，以提高主题模型的准确性和一致性，并且研究结果表明，对自然语言处理模型的改进将会对主题模型产生积极影响。

    Apr, 2020

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 上下文化注意力嵌入的主题

    通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。

    Jan, 2023

  • 自然语言处理任务中的迁移学习监督上下文嵌入

    本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

    Jun, 2019

  • 利用人类相似度评判修剪词向量以提高可解释性

    通过一种有监督学习方法，针对特定领域（例如运动、职业），识别出一组强烈改善人类相似度判断预测的模型特征子集，并通过两种方法解释所保留特征的语义，从而揭示了人类如何根据性别包容性和国际性来区分运动类别，以及不同领域中特征对不同语义维度的预测能力。对于职业特征而言，最能预测认知、情感和社会维度，而对于水果或蔬菜特征而言，则最能预测味觉维度。讨论了对于人工智能系统与人类知识之间的对齐的意义。

    Oct, 2023

  • 神经主题建模优于聚类吗？基于语境嵌入的聚类主题实证研究

    本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题，相比于利用神经模型的方法有更高的效率和简洁性。

    Apr, 2022

  • BERTTM：利用预训练语言模型的上下文化单词嵌入来进行神经主题建模

    本研究开发了一种新型的神经主题模型，结合了来自预先训练的语言模型 BERT 的上下文化单词嵌入，无需使用任何词袋信息即可推断文档的主题分布，实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型，并可处理来自新到达文档的未见单词。

    May, 2023

  • BGE 地标嵌入：用于检索增强的长上下文大语言模型的无分块嵌入方法

    通过可扩展嵌入实现了高质量、灵活、具有成本效益的扩展大型语言模型的上下文，通过优化架构和训练方法，具有上下文扩展的高灵活性、低成本的训练和与现有大型语言模型的兼容性，进而在长上下文语言建模和理解任务上进行综合评估，验证了可扩展嵌入作为一种有效、高效、灵活和兼容的扩展大型语言模型上下文的方法。

    Feb, 2024

  • 基于关注机制的上下文信息量预测模型及课程学习应用

    通过注意力机制和上下文信息评估单词背景下的信息量，该研究提出了一种用于导出关键上下文元素用于单词理解的有效方法，并探究如何将其应用于学生词汇学习和机器学习中。

    Apr, 2022