EMNLPOct, 2020
针对鲁棒自然语言推理的判别式调整生成分类器
Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference
Xiaoan Ding, Tianyu Liu, Baobao Chang, Zhifang Sui, Kevin Gimpel
TL;DR本研究提出了一个针对自然语言推理任务的生成式分类器 GenNLI，并通过比较五种基线模型，包括辨别式模型和像 BERT 这样的大规模预训练语言表示模型的表现，实证特征。我们探索了生成式分类器的辨别式微调的训练目标，表明在对数损失微调方面进行不受限制的修改，并称之为 “infinilog loss” 可以提高准确性。我们的实验结果显示，GenNLI 在几种具有挑战性的 NLI 实验环境中胜过了辨别式和预训练基线模型，包括小规模训练集，不平衡标签分布和标签噪声等方面。