gpt3 | BriefGPT - AI 论文速递

关键词gpt3

搜索结果 - 8

利用反事实情况测量和改善对部分输入的专注力
数据集中的伪相关性对于 NLP 模型在未见数据上的泛化性造成了影响。我们提出了一种新的评估方法，Counterfactual Attentiveness Test (CAT)，通过使用反事实推理来检测模型的注视变化。 CAT 的结果显示，对
PDF8 months ago
探究 OpenAI GPT3 中的偏见与互联网教育
本研究探讨了自然语言处理模型中偏见及其避免技术的现有文献，包括为何首先解决偏见问题；此外，文中分析了这些技术在比过去更大的新型模型下的表现。为了实现这些目标，本文作者使用目前可由消费者使用的最大 NLP 模型 GPT3 进行了研究。通过使用
PDFa year ago
更大的探针讲述了不同的故事：通过上下文学习扩展心理语言学数据集
本研究介绍了两个新的数据集（NEG-1500-SIMP 和 ROLE-1500），并使用 GPT3 对其进行了扩展，以用作语言模型探测的基准测试。结果表明，较小规模的测试集可能会对研究结论产生影响，同时我们发现模型的性能受否定词的影响较大。
PDFa year ago
通过困惑度估计解密语言模型中的提示
通过对语言模型的提示和降低困惑度等优化，可以改善模型在 zero-shot 学习中的性能。
PDF2 years ago
EMNLP反思而非反应：基于推理的共同理解提高对话响应质量
本文提出通过使用 Reflect 数据集中的共同知识作为引导，可以改进当前的对话模型，从而生成更具质量和多样性的回复。
PDF2 years ago
无需参考文献的句子摘要生成：通过符号知识蒸馏实现更精细的控制
本研究提出了一种名为 Referee 的句子摘要框架，可无需金标准摘要进行训练，同时允许直接控制压缩比率。通过符号知识蒸馏的概念框架，从预训练语言模型中提炼潜在知识，进一步纯化、过滤和迭代，创造了高质量的数据集和摘要模型，大幅提升了摘要的可
PDF2 years ago
ACL使用歧义语境生成幽默双关语
本文提出了一种简单而有效的方法来生成双关语句子，该方法不需要训练现有双关语。我们的方法受到幽默理论的启发，即歧义来自于上下文而不是双关词本身，我们的模型首先通过反向字典生成与双关词相关概念的列表，然后利用一次性 GPT3 生成上下文单词，最
PDF2 years ago
所有 ' 人类 ' 皆非黄金：评估生成文本的人类评估
研究评估非专家区分人工和机器生成文本 (使用 GPT2 和 GPT3) 的能力，指出评估者不经培训情况下很难区分，通过三种方法培训后的准确率提高到了 55%，但在三个领域中并没有显著提高。作者分析了训练不足的人类评估在自然语言生成领域的作用
PDF3 years ago