关键词commonsense reasoning tasks
搜索结果 - 4
- ReFT: 语言模型的表示微调
参数高效微调方法通过少量权重的调整来适应大模型。本研究通过发展一系列表示微调方法来探索该假设，利用隐藏表示上的任务特定干预进行表示编辑，展示在多个评估中，低秩线性子空间表示微调方法可以实现比先前最先进参数高效微调方法更好的效率和性能平衡。
- 推理中的雙子座：揭示多模態大語言模型中的常識
Google 的 Gemini 模型通过对 12 个常识推理数据集的综合分析，展现出与其他语言模型和多模态语言模型相竞争的常识推理能力，揭示了当前语言模型和多模态语言模型在解决常识问题方面所面临的共同挑战，强调了提高这些模型的常识推理能力的 - GPT-Neo 用于常识推理 —— 理论和实践视角
本文评估了 GPT-neo 1.3 亿模型在常识推理任务上的表现，发现模型在某些任务上具有竞争力，但当数据集大小显著较小时表现会很差。研究者还使用可视化和推理测试来证实结果，并通过多种方法进行彻底的健壮性测试。
- ACL预训练几乎就是你所需要的：应用于常识推理
本研究提出一种基于预训练 transformer 模型的全文格式的可信度排名得分方法，无需微调即可产生强大的基线，可以为通识推理任务提供更加稳定和有效的训练解决方案。