人们往往在回答是或否的问题时，没有明确地表达是或否或类似的极性关键词。本文通过研究来自多个领域的对话，并提出了三个不同领域的新基准：电影剧本，网球采访和航空公司客户服务。我们提出了一种基于远程监督和混合训练的方法，快速适应新的对话领域。实验结果表明，我们的方法从未受损，并能提高 F1 值高达 11-34%。

Apr, 2024

社交媒体上解释是非问题的答案是困难的，本文提出了一种新的包含来自 Twitter 的 4,442 个是非问题答案对的语料库，探讨了解释为是、否或未知的答案的语言特征，证明大型语言模型在解决这个问题上仍然存在问题。

Oct, 2023

本文关注了对话中的一种实用推断问题：理解对问题的间接回答。通过精心的众包，创建并发布了第一个大规模的英语语料库 'Circa'，并提出了基于 BERT 的神经模型来预测一对问题 - 答案的类别。结果表明，虽然从蕴涵的传递学习中可以得到合理的表现，但性能还不足以进行稳健的对话。我们的模型可以达到 4 类区分的 82-88％的准确性，6 类则为 74-85％。

Oct, 2020

本文研究了自然环境下的是 / 否问题。我们建立了一个名为 BoolQ 的阅读理解数据集，并展示了它们出人意料地具有挑战性。我们还探讨了一系列迁移学习的基线效果，并发现从蕴涵数据进行转移的效果比从释义或抽取式 QA 数据进行转移的效果更好，即使从 BERT 等大规模预训练的语言模型开始转移，蕴涵仍然非常有益。我们的最佳方法是在 MultiNLI 上训练 BERT，然后在我们的训练集上重新训练它。它的准确率为 80.4％，而人类注释人员的准确率为 90％（多数基准为 62％），为未来的工作留下了巨大的差距。

May, 2019

提出了一种使用纯无监督方式直接在语言模型的内部激活中查找潜在知识的方法，通过在激活空间中找到满足逻辑一致性属性的方向，可以精确回答只有未标注模型激活的肯定 - 否定问题。在跨 6 个模型和 10 个问答数据集的情况下，尽管不使用监督和模型输出，该方法可以恢复大型语言模型中的各种知识，并且平均超过零 - shot 准确性 4％。结果初步表明，即使我们无法访问显式的基础真值标签，也可以发现语言模型所知道的与它们所说的不同。同时，该方法可以将 prompt 敏感度减半，并在要求模型生成错误答案时仍然保持高准确性。

Dec, 2022

利用 Transformer 序列到序列模型，我们提出了可控重写极性问题的答案，形成无情境且简洁的事实陈述，实现与 PQA 输入的语义等价。通过自动化和人工评估指标，我们在三个不同的 PQA 数据集上评估，结果表明我们的方法在性能上优于现有基线模型。

Jan, 2024

通过提出一个视觉基础的问题 - 回答模型框架，使用期望的信息量增益优化来产生极性澄清问题以消除人机对话中的误解，从而展示了该模型在目标导向的 20 个问题游戏中与人工回答者一起提出的问题如何提高交流成功率。

Oct, 2021

该研究探讨多语种问答中的翻译方法，并提出基于学习的翻译方法，通过模型训练并结合语言分类器实现翻译，结果比强基准模型表现更优。

Sep, 2016

通过问题对齐，我们训练模型将推理问题翻译成英文，以利用英文指导数据，提高大型语言模型在多语言推理任务上的性能。

Jan, 2024

在这篇论文中，我们研究了如何利用问题对齐方法提高大型语言模型在非英语性能上的应用，通过对可执行代码推理和常识推理的影响进行探索，并通过代理调整的方式实现对极大型语言模型的高效应用。多语言推理基准测试结果显示，问题对齐方法能够在不同推理场景、模型系列和大小上提升多语言性能。与 LLaMA2 模型相比，我们的方法平均提高了 mGSM 的准确率 12.2%，即使在 70B 模型上也是如此。通过分析表示空间、思维链和翻译数据规模，我们还揭示了问题翻译训练如何增强 LLMs 内部的语言对齐，并塑造它们的工作模式。

May, 2024