偏执是强健的自学习者
提出了一种基于超级对比学习预处理的新框架 ConEntail,它使用统一的元任务进行分类,该任务基于嵌套蕴含。实验结果表明,该框架可以有效地利用现有的注释数据,在零和少量样本情况下始终优于基线 (分别达到 9.4% 和 3.5% 的平均改进)。
Oct, 2022
本研究提出了一种名为 EFL 的新方法,将潜在的自然语言处理任务重新表述为蕴含任务,并在少至 8 个样例的情况下微调模型,进而证明该方法可以自然地与无监督对比学习数据增强方法相结合,易于扩展为多语言少样本学习,并在 18 个标准 NLP 任务上进行了系统评估,表明该方法将现有 SOTA 少样本学习方法的性能提高了 12%,在相同数据量下,可以达到与 GPT-3 相近的少样本性能
Apr, 2021
本文提出了 Prompt-based Text Entailment (PTE) 低资源命名实体识别技术,将命名实体识别作为文本蕴含任务,并使用 Pre-trained Language Models 和 entity type-specific prompts 来获得高性能。通过在 CoNLL03 数据集和 MIT Movie 及 Few-NERD 数据集上进行的实验,结果表明该方法 PTE 在低资源场景下的表现优于微调的对照组。
Nov, 2022
本文探讨如何通过 Few-shot 学习和文本蕴含来实现通用的 NLP 任务解决方案,并且说明文本蕴含可以应用于多种 Downstream NLP 任务,用于解决数据稀缺的情况。
Oct, 2020
通过在部分监督下基于自然语言推理模型对合理性解释模型进行了优化,无需访问真实标签,提高了性能,并实现了与监督提取模型相当的结果和优于无监督方法 100% 以上的性能。
Feb, 2024
本论文研究了三个方面的工作:如何提高预训练模型在 NLP 任务中的性能,在维基百科和释义上利用语言结构以提取知识,以及定制文本资源以建立挑战性的评估任务。
Jul, 2022
本文提出了一种新的神经模型,使用长短时记忆单元读取两个句子以确定蕴含关系,通过逐词的注意机制对每个单词和短语的蕴含进行推理,该模型在大型蕴含数据集上表现出了更好的性能,并且是第一个在文本蕴含数据集上实现最先进准确度的通用端到端可导系统。
Sep, 2015
本文研究预训练语言模型(如 BERT)在零样本的事实推理任务中的知识捕获,提出一种有效的弱监督预训练目标,通过实体知识的显式融入,实现了对真实世界知识的建模,实验结果表明,该模型在答题、实体类型标注等任务上均优于 BERT。
Dec, 2019
本文中,我们描述了几种针对不同社区的刻板印象,这些社区存在于受欢迎的句子表示模型(包括预训练的下个句子预测和对比句子表示模型)中。通过比较基于文本相似性的强预训练模型与学习语言逻辑的文本蕴涵模型,我们得出结论:与显式去偏见流程相比,使用文本蕴涵显式逻辑学习可以显著减少偏见并提高社区的识别。
Mar, 2023