gpt-2 | BriefGPT - AI 论文速递

关键词gpt-2

搜索结果 - 88

两个模型的共同思考因素
建筑差异对模型表示和处理语言的方式有显著影响。我们提出了一种基于度量学习编码模型（MLEMs）的新方法，作为回答这个问题的第一步。该方法通过特征比较来研究任意两个模型的任意两个层对语言信息的表示方式。我们将此方法应用于 BERT，GPT-2
PDF16 days ago
InversionView：从神经激活中提取信息的通用方法
我们提出了 InversionView 方法，通过从经过激活条件的训练解码器模型中抽样，实际检查输入子集，以便于理解变压器模型实现的算法，并展示了该方法的特征、优势和引起验证的电路。
PDFa month ago
研究大型语言模型在 Reddit 的 Showerthoughts 上特定领域写作风格适应中的机智、创造力和可检测性
大型语言模型在模拟人类写作风格方面的能力进行了研究，通过比较不同规模的语言模型在 Showerthoughts 领域生成的创造性文字与人类创作的文字，发现人类评估者对于生成的文字在创意质量方面评分稍低，但难以可靠地区分人类写作和 AI 生成
PDF2 months ago
COLING解码探究：利用最小对比揭示神经语言模型中的内部语言结构
受认知神经学研究的启发，我们介绍了一种新颖的 “解码探测” 方法，利用最小对比基准（BLiMP）逐层探测神经语言模型中的内在语言特征。通过将语言模型视为 “大脑”，其表示为 “神经激活”，我们从中间层的表示中解码最小对比的语法标签。该方法揭
PDF3 months ago
大规模深度网络的变分学习有效性
我们通过大量的证据反驳了普遍观点，即变分学习对于大型神经网络无效。我们展示了一种名为改进变分在线牛顿（IVON）的优化器，在训练 GPT-2 和 ResNets 等大型网络时，始终能够与 Adam 相匹配或胜过它。IVON 的计算成本与 A
PDF4 months ago
基于大规模语言模型的不确定性感知可解释推荐
为了提高用户满意度和建立信任，推荐系统内提供解释尤为重要，特别是对为用户定制的推荐物品进行解释。在这个研究领域中，主要方法是生成基于文本的解释，主要侧重于应用大型语言模型（LLMs）。然而，由于时间限制和计算资源限制，对于可解释性推荐来说，
PDF5 months ago
不可能任务的语言模型
GPT-2 struggles to learn synthetic impossible languages, challenging the claim that large language models are equally ca
PDF6 months ago
时代中的涟漪：美国历史的不连续性
使用向量嵌入技术（如 BERT 和 GPT-2）以及非线性降维方法（如 UMAP），对国情咨文数据集进行分析，发现 GPT-2 + UMAP 作为替代方案能够提供更好的分离和聚类效果，并使用 DistilBERT 模型进行分类，取得了很好的
PDF7 months ago
论检索增强和语言模型训练的局限性
这项研究探讨了将 kNN 检索应用于 GPT-2 117M 等传统语言模型中，以提高性能，证实了通过这种方法可以降低困惑度，并解释了这一现象的潜在原因。
PDF8 months ago
LEEETs-Dial: 末端对话系统中的语言同步
本研究通过使用共享词汇，介绍了一种实现基于 GPT-2 的端到端对话系统中对话对齐的方法，包括训练实例加权、对齐特定损失和附加调节等技术，通过在 MultiWOZ 数据集上比较不同的对齐技术，我们证明这三种方法都比基准产生出更好对齐的结果，
PDF8 months ago
视觉编码解码模型用于人工智能辅导
本研究论文介绍了一种创新的 AI 辅导方法，通过整合视觉编码器 - 解码器模型，以 Vision Transformer 作为编码器，GPT-2 作为解码器，实现了对视觉输入和文本交互的无缝集成。与传统实践中使用不同模型进行图像识别和文本辅
PDF8 months ago
通过估计数据分布的比例进行离散扩散语言建模
使用评分熵离散化损失函数来优化基于扩散模型的生成模型，在与 GPT-2 进行比较时取得了竞争性的似然度，并且在算法上也带来了明显的优势。
PDF8 months ago
BabyStories: 强化学习能否教会婴儿语言模型写更好的故事？
本研究探讨了基于有限训练数据预训练的语言模型中，通过人类反馈进行强化学习的影响，研究结果表明，对于较大的模型，在进行强化学习后，在叙事任务中表现更好。这些发现强调了有限数据条件下对语言模型进行强化学习微调的潜在益处，提高其在维持叙事焦点和连
PDF8 months ago
揭示法学硕士职业领域中的性别偏见：分析与解决社会学意义
该研究探讨了大型语言模型中的性别偏见问题，特别关注 GPT-2 和 GPT-3.5 等多个语言模型之间的比较，通过对生成的文本进行全面的文献综述和定量分析，发现了性别化词汇关联、语言使用和偏见叙述的问题，并提出了减少性别偏见的算法和数据增强
PDFa year ago
不使用分类器的引导方式，保持话题一致性
通过对多项任务的优化，本文展示了分类器自由引导（CFG）可以作为一种单纯的语言模型推理技术，以优于当前最佳模型的表现在 LAMBADA 任务上取得了 SOTA 成果，并可改善语言助手任务的准确性和连贯性。
PDFa year ago
语言模型能够学习语法规则的例外
本研究探讨了人工神经网络在英语被动语态限制的负面例外的规则学习中的应用
PDFa year ago
ACL语言习得：儿童与语言模型是否遵循相似的学习阶段？
研究比较 GPT-2 模型和儿童语言习得的性质，发现两者的语言学习趋势相似但也存在差异。
PDFa year ago
使用 Whisper 和 GPT-2 技术进行情境偏见调整是否仍然有效？
本文研究了对 Whisper 和 GPT-2 进行神经语境偏置的有效性，发现使用特定的偏置列表来帮助 Whisper 和 GPT-2 减少数据集中不频繁且性能差的单词可以显著降低错误率。在应用于特定领域的数据时，语境偏置更加有效，并可以提高
PDFa year ago
ICLRTopEx: 基于主题的模型比较解释
本研究提出了一种名为 TopEx 的解释方法，该方法通过使用模型无关的主题实现了对比较语言模型的公正性，并演示了如何使用 TopEx 在各种 NLP 任务上识别 DistilRoBERTa 和 GPT-2 之间的相似之处和差异。
PDFa year ago
在 GPT 中编辑常识知识
该研究提出了 $MEMIT_{CSK}$，它是一种适用于常识知识的记忆编辑方法，并在 GPT-2 Large 和 XL 中进行了实验，优于调参方法 10.97％和 10.73％ F1 分数。结果表明，通过直接编辑模型来校正和定制模型行为，结
PDFa year ago