关键词training data distribution
搜索结果 - 4
- 充分利用数据：改变训练数据分布以提高内分布泛化性能
我们通过比较梯度下降（GD）和锐度感知最小化（SAM）的归纳偏差，证明了 SAM 在早期阶段更均匀地学习易于和困难的特征，因此我们提出了一种基于网络输出的示例聚类算法并上采样那些没有易于特征的示例，从而改善了原始数据分布上（S）GD 的泛化 - 一个基于机制的数据依赖和突发学习的在情境分类任务的基础
Transformer 模型表现出上下文学习：基于输入序列中的示例，准确预测对新查询的响应。研究讨论了训练数据分布和架构方面哪些因素支持上下文学习和传统的查询 - 输出关系学习。研究还提出了在简化数据集上训练的最小关注网络模型，阐明了上下文 - 基于自然图像统计的采样改进了本地代理解释器
本文提出了对生成解释性数据的 surrogate explainers 的限制进行修正的方法，基于深度神经网络中的解释性模型，通过使用感知度量并将采样的局部邻域与原始培训数据分布对齐，训练一个局部可解释的模型，以了解模型是如何得出特定预测结 - 广义数据分布迭代
研究同时实现高样本效率和卓越绩效的深度强化学习模型，将挑战分解为两个经典强化学习问题，数据丰富性和探索 - 开发权衡，并通过对行为策略的能力和多样性进行显式建模和控制、采用单调数据分布优化技术进行选择 / 采样分布的精细和自适应控制等手段来