BriefGPT.xyz
大模型
Ask
alpha
关键词
task-specific information
搜索结果 - 5
渐变掩模调优提升 LLM 性能上限
基于任务特定信息和梯度掩码调整的细节调整方法在大型语言模型中超越了传统的细调方法，并提升了语言模型的性能上限。
PDF
11 days ago
扩散引导的理论洞察：高斯混合模型案例研究
在高斯混合模型的背景下，我们的研究首次对扩散模型中引导信息对其性能的影响进行了理论研究，证明了引入扩散引导不仅提高了分类的置信度，还减少了分布的多样性，导致输出分布的微分熵的降低。我们的分析涵盖了广泛采用的采样方案，包括 DDPM 和 DD
→
PDF
4 months ago
ICCV
将视觉和语言编码器融合：针对指代图像分割的参数高效调整
我们在密集预测任务和模态之间的交互方面对参数高效调整进行了调查，并且提出了一种名为 Bridger 的新型适配器，以促进跨模态信息交流并将任务特定信息注入预训练模型，并为图像分割设计了轻量级解码器，该方法在具有挑战性的基准测试中只更新了 1
→
PDF
a year ago
EMNLP
关于微调自然语言处理模型中潜空间的转换
本研究通过无监督方法分析表示空间中的潜在概念，并考察了预训练模型和微调后模型间的相似性。结论显示：较高层次的潜在空间向任务特定概念演变，而较低层次则保留了预训练模型获得的通用概念；某些概念向输出类别具有极性，并可用于生成对抗性触发器。
PDF
2 years ago
语言相关性分析：在深度 NLP 模型中发现显著神经元
该研究利用 Linguistic Correlation Analysis 技术，定位和提取能够预测不同语言任务的少量神经元，研究表明深度 NLP 模型中神经元的学习特征高度分布和冗余，预训练模型的微调也会影响学习到的语言知识，同时还发现多
→
PDF
2 years ago
Prev
Next