该论文提出了一种用于 COQA 多语言问题解答的系统,该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究,并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。
May, 2022
本文提出一种新的无监督框架 RAMN 用于计算两个问题之间的语义匹配,并利用注意力自编码器生成问题的语义表示。该方法在 SemEval-2016 和 SemEval-2017 的实验数据集中比有监督方法更具竞争力并取得了更好的性能。
Mar, 2018
本文提出一种新颖的端到端问题聚焦的多因素注意网络,用于回答提问文本中的问题,通过张量变换实现多因素关注编码,以对散布在多个句子中的信息进行建模,并采用最大化注意聚合机制来对提问文本进行编码,从而实现对问题类型的隐式推断,并在三个大型挑战性问题回答数据集中实现了显著的性能提升。
Jan, 2018
本研究提出了一种双重再排序模型和第二个神经检索阶段,以改进在问题应答中使用聚合策略的转换器模型的限制。对三个知名数据集进行的实验表明,该方法在 AS2 上具有相当和显著的改进。
Jan, 2022
通过使用 Retrieval as Attention (ReAtt) 和 Transformer,我们的研究表明,通过端到端的培训,单个模型可以同时实现有竞争力的提取和问答表现,在监督和无监督的设置中显著提高其在超领域数据集上的性能。
Dec, 2022
本文提出了一种新颖的分层注意力网络,用于阅读理解式问题回答,在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码,引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后,引入分层注意力网络,通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性,同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。
Nov, 2018
本研究提出了一种叫做 ReCross 的检索增强方法,用于提升大规模多任务语言模型在无监督环境下的交叉任务泛化能力。结果表明,该方法显著优于其他基线方法。
Apr, 2022
本文提出了一种新的方法,利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型,并结合内部 cross-attention 机制实现了良好的表现,同时使用较少的参数,使模型能够进行幻觉式推断,并提高模型重排相关段落的能力。
Oct, 2021
本篇论文通过系统地研究检索器的预训练,提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法,并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法,并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。
Jan, 2021
本文提出了一种以问答对为基础的编码 - 解码模型,通过该模型的预训练策略,能够在单跳及多跳问题上达到强大性能,并进一步提高了对模型的解释和控制能力,缩小了与段落检索系统之间的性能差距。