本文介绍了一个名为 CLIFT（Clinical Shift）的新测试平台，用于临床领域的问答任务。通过对提出的测试平台进行综合实验研究，评估了几个问答深度学习模型。尽管在原始测试集上取得了令人印象深刻的结果，但在新的测试集上性能下降，显示出分布偏移。我们的研究结果强调了在分布偏移条件下提高临床领域模型鲁棒性的必要性和潜力。该测试平台为追踪该方向的进展提供了一种方式，同时也强调了采用考虑对自然分布偏移的鲁棒性的评估指标的必要性。我们计划通过添加更多样本和模型结果来扩展语料库。完整的论文和更新的基准测试结果可在 github.com/openlifescience-ai/clift 获取。

Oct, 2023

在问答模型的分布稳健性中，我们进行了一项大规模的实证评估，研究了超过 350 个模型和 16 个问答数据集的情况，发现在很多情况下，模型的变化并不影响稳健性，而在分布内性能单独决定着分布外的性能，并且我们的发现表明，零样本和上下文学习方法比完全微调的模型更能抵御分布变化，少样本提示微调模型表现出比少样本微调跨度预测模型更好的稳健性，而参数高效和稳健性增强的训练方法对稳健性没有显著的改进。

Oct, 2022

研究开放领域问答（ODQA）中，当应用于广泛不同的领域时，此类模型的稳健性和应用性能。该研究提出了一个更现实和具有挑战性的领域转移评估环境，并研究了端到端的模型性能。他们发现，不仅模型在推广方面表现出失败，且高检索分数通常也不能提供准确的答案预测。最后，研究提出并评估了多种干预方法，其提高了端到端答案 F1 得分，最多可达 24 个点。

Dec, 2022

本文研究开放领域问答模型的能力，发现许多测试集答案和训练集中的答案重复，只有部分问题可以从训练集中得到近似的问题，最终发现简单的最邻近模型表现比 BART 模型更好，证明训练集记忆在问答领域中发挥了重要作用。

Aug, 2020

通过实验证明生成数据对阅读理解数据集的扩充可以更好地提高对自然分布变化的鲁棒性。

Sep, 2023

本研究提出了一种基于规则的开放域问答系统，可以回答来自相关上下文的任何领域的问题，使用 1000 个问题的 SQuAD 2.0 数据集测试开发的系统表现满意，同时分析了性能。

Mar, 2022

本文通过定量和定性分析现有端到端神经模型在斯坦福问答数据集上的结果，旨在理解和比较其特性，以迈向实现在多个领域中的泛化能力。研究发现，预测错误反映了某些模型特定偏差，本文对此进行了进一步讨论。

Jun, 2018

文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

Sep, 2019

本文提出了一种选择性回答领域偏移下问题的设置，通过训练一个更好的模型来确定何时应该回答问题，以避免错误和不确定性。

Jun, 2020

提出一种将问题回答建模为一种对齐问题的结构支持向量机方法，通过将问题和上下文分解成基于语义角色的单元，并将问题与上下文的子图进行对齐以找到答案，该模型可用于跨领域问题回答，且通过对齐得分派生出的限制使模型更加鲁棒。

Apr, 2020