Mar, 2024

Transformer中的推理:减轻伪相关性和推理捷径

TL;DR用已知有误导性关联的数据集,在逻辑推理任务中训练两种模型:基于证明的生成式 Transformer 模型 WP-BART 和神经符号模型 SIP-BART。结果发现,SIP-BART 能够避免逻辑推理的捷径,而 WP-BART 无法。对于 SIP-BART,还发现了几种之前文献中未描述的推理错误类型,并进行了定性分析,创建了一个包含四种不同陷阱类型的分类系统。