ACLMay, 2023
上下文感知 Transformer 预训练与答案句子选择
Context-Aware Transformer Pre-Training for Answer Sentence Selection
Luca Di Liello, Siddhant Garg, Alessandro Moschitti
TL;DR该研究提出了三个预训练目标,旨在模拟上下文 Answer Sentence Selection 的下游微调任务,并应用于 RoBERTa 和 ELECTRA 等模型,达到一定的准确率提升。