ICMLOct, 2022

使用句子转换器进行零样本文本匹配的自动审计

PDF
TL;DR本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。
natural language processingautomated auditingunsupervised text matchingsentence-bertfinancial passages
发现论文，激发创造
  • 利用大型语言模型提高金融审计的零样本文本匹配

    零射击 ALI 是一种新颖的推荐系统，利用了最先进的大型语言模型（LLM）与领域特定优化的基于转换器的文本匹配解决方案，通过检索最佳匹配的文档段落并使用 LLM 进行筛选，显著改进了现有方法。

    Aug, 2023

  • 通过自监督微调进行零 - shot 文本分类

    本文提出基于自我监督学习的新范式，通过使用无标签数据来调整语言模型，从而解决零样本文本分类任务，我们通过探索自由文本的内在结构，提出了一种新的学习目标，称为第一句预测，以弥合无标签数据和文本分类任务之间的差距。经过调整模型以学习基于其余部分预测段落中的第一句的能力后，模型能够在看不见的任务上进行零 - shot 推理，例如主题分类和情感分析。实验结果表明，我们的模型在 10 个任务中有 7 个优于最先进的基线模型。

    May, 2023

  • ZeroBERTo：利用主题建模提高零样本文本分类能力

    本文提出了一种名为 ZeroBERTo 的新模型，利用无监督聚类方法在分类任务前获取压缩数据表示，其在长文本输入的性能和执行时间上都优于 XLM-R， F1 分数比 FolhaUOL 数据集上的 XLM-R 高约 12％。

    Jan, 2022

  • 零样本文本到图像生成

    本文介绍了一种基于 transformer 的 autoregressive 的文本 - 图像生成方法，其与以往的一些领域特定模型相比，具有更好的尺度和零样本表现。

    Feb, 2021

  • 自训练的零样本文本分类

    本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

    Oct, 2022

  • 基于 Transformer 的零样本序列标注句子分类器

    本文研究了如何将句子级 transformer 修改为在没有任何直接监督的情况下有效的序列标记，我们发现一个软性注意模块可以明显优于现有方法，使得能够更好地在标记级别提高性能。

    Mar, 2021

  • MultiCQA：基于自监督文本匹配模型的零样本迁移在大规模上的应用

    研究了 140 个英文社区问答论坛上自我监督训练的文本匹配模型的零样本转移能力，并调查了其在九个答案选择和问题相似性任务的模型表现，提出了结合自我监督与监督多任务学习的最佳零样本转移模型，该模型在所有九个任务上均实现了最新的状态。

    Oct, 2020

  • 使用 Transformer 语言模型对社会政治文本进行零样本排序以减少读取时间

    使用基于 Transformer 的 DeBERTa 模型将分类问题转化为蕴含问题，使得排名最高的文档可以被视为正分类文档，从而缩短信息抽取过程中的阅读时间，并发现一定的召回率下，使用声明性形式的类别标签作为查询可以优于使用字典定义的类别标签。同时研究表明，随着主题范围的扩大，应阅读的文档百分比会增加。

    Oct, 2022

  • Train Once, Test Anywhere: 零样本学习用于文本分类

    提出了使用零样本学习的方法在大语料库上训练模型来学习语句和其标签之间的关系，以实现模型对未知语句和标签的预测，并报告在三个不同数据集上的实验结果，该方法是自然语言处理中通向智能化的一步。

    Dec, 2017

  • 评估无监督文本分类：零样本和基于相似度的方法

    本文对不同的基于相似性和零样本方法进行了系统评估，对四个文本分类数据集进行了基准测试，包括来自医疗领域的新数据集。此外，提出了新的 SimCSE 和 SBERT 基线，其中使用 SimCSE 或 SBERT 嵌入而不是简单的文本表示进一步增强了基于相似性的分类结果。在无监督文本分类方面，提出了新的基于相似性的 Lbl2TransformerVec 方法，其性能优于先前的最先进方法。我们的实验表明，大多数情况下，基于相似性的方法显着优于零样本方法。

    Nov, 2022