data distribution | BriefGPT

关键词data distribution

搜索结果 - 132

针对个性化联邦学习的客户正则化和类别分布聚合
个性化联邦学习中，通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的 PFL 方法，即类别级联联邦平均（cwFedAVG），该方法在服务器端按类别执行联邦平均（FedAVG），创建多个每个类别的全局模型。每个本地模型
PDF22 days ago
一种基于语言模型的挖掘时序数据分布变化的框架
使用大型语言模型和数据源接口来探索和收集时间序列数据集的方法，扩大数据量以应对限制或缺乏关键属性的原始数据，有效补充现有数据集，尤其在数据分布变化方面。演示了通过实际示例证明了收集数据集的有效性，并展示了在这些数据集上进行微调的时间序列预测
PDFa month ago
切线微分隐私
切线差分隐私是一种新型的差分隐私，适用于特定数据分布，允许使用总变分距离和 Wasserstein 距离，并在风险最小化情况下，通过熵正则化保证切线差分隐私在风险函数的普遍条件下成立。
PDFa month ago
超越构成式推理，DDPMs 能够产生零样本插值
Denoising Diffusion Probabilistic Models (DDPMs) can effectively generate images in unexplored regions of the data distr
PDFa month ago
关于序回归问题阈值方法的损失函数评注
通过理论考虑和数值实验，本文研究了阈值法在阶序回归问题中的分类性能与数据分布以及一维转换学习程序之间的影响。研究发现，当目标变量在解释变量条件下的概率分布趋向于非单峰分布时，基于典型学习程序的阈值法可能表现不佳。此外，基于分段线性损失函数的
PDFa month ago
DiffNorm：自监督标准化非自回归语音转语音翻译
这项研究介绍了 DiffNorm，一种基于扩散的规范化策略，通过去噪合成损坏的语音特征构建规范化的目标数据，同时提出使用无分类器指导来进行非自回归 Transformer 模型的正则化，从而在速度和翻译质量上实现了显著的提升。
PDFa month ago
SADDLe: 具有异构数据的尖锐感知去中心化深度学习
本文提出 SADDLe，一种利用 Sharpness-Aware Minimization (SAM) 的锐度感知的分布式深度学习算法，以解决分布式训练中的局部过拟合、全局模型泛化不佳和高通信成本等实际挑战。实验结果表明，与现有技术相比，S
PDFa month ago
ICML对于任何数据分布，存在一致有效性保证
机器学习系统中风险量化与控制的研究，集中在处理 ML 系统收集自身数据时产生的数据分布变化问题，通过扩展 conformal prediction 理论以适应任意数据分布，并提出了针对特定数据分布的可行算法，以解决这一挑战。
PDF2 months ago
多 GPU 平台机器学习训练的通用性能建模
通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如
PDF2 months ago
评分估计的密码学难度
在样本复杂度与相关问题参数的多项式条件下，我们证明了在没有对数据分布进行强假设的情况下，$L^2$- 准确的评分估计在计算上是困难的。我们的研究基于 Chen 等人（ICLR 2023）的结果，他们证明了从未知数据分布生成样本的问题可以归约
PDF3 months ago
ACL基准透明度：测量数据对评估的影响
本文提出了一个自动化框架来测量数据分布对自然语言处理模型性能和评估的影响，并通过两组实验表明数据的分布对评估具有统计学上的重要性，并且可预测模型的泛化能力。
PDF3 months ago
DataCook：用于医疗数据版权保护的反对抗示例编写
该研究提出了一种名为 DataCook 的新方法，旨在在部署阶段保护医疗数据的版权。DataCook 通过对原始数据进行处理，使得在此处理后的数据上正常运行的模型得以开发。该方法采用了一种名为反对抗示例（AntiAdv）的机制，通过增强模型
PDF3 months ago
CVPR基于神经聚类的视觉表示学习
我们通过重新审视聚类，一种机器学习和数据分析中最经典的方法之一，来研究机器视觉的一个基本方面：特征的测量。我们提出了特征提取与聚类（FEC）的概念性优雅但惊人的特征提取方法，它将特征提取视为从数据中选择代表并自动捕捉底层数据分布的过程。通过
PDF3 months ago
通过融合高度专业化的语言模型，同时掌握文本、代码和数学
我们提出了一种融合不同领域模型的框架，UltraFuser，通过引入令牌级别的门控机制以及两阶段训练策略，以高效稳定的方式训练模型，并构建了一个具有广泛话题覆盖的高质量训练数据集，UltraChat 2，在文本、代码和数学领域展现出高水平的
PDF4 months ago
基于时间注意力的深度生成领域适应，用于跨用户活动识别
我们的研究提出了一种新颖的 Deep Generative Domain Adaptation with Temporal Attention (DGDATA) 方法，通过在领域适应过程中识别和整合时序数据中嵌入的时间关系，我们的方法改进了
PDF4 months ago
预言：使用生成模型预测持续学习中的未来数据变化
使用大型语言模型和图像生成模型结合起来，在持续学习挑战过程中提供有价值的先见之明，并对细粒度图像分类基准测试上的多个类别增量学习方法进行了改进。
PDF4 months ago
基于 Transformer 的随机时间序列建模
本论文介绍了一种基于通用 Transformer 架构的随机时间序列模型 tsGT，并使用滚动窗口回测和评估协议展示了其在四个常用数据集上在 MAD 和 RMSE 上优于现有模型，在 QL 和 CRPS 上超越了其随机同行模型，并补充了对
PDF4 months ago
异构数据下的分布式学习均衡速率调度器
提出了平均速率调度作为减轻分散式学习中异质性影响的一种简单有效的方法，实验证明了该方法相对于采用恒定平均速率的传统方法的优越性（测试精度提高了约 3%）
PDF4 months ago
CoDream：以异构模型而非模型交换进行联邦聚合
通过在输入数据空间中进行联合优化，共享模型知识，而不是模型参数，我们提出了一种名为 Codream 的新颖框架，实现了联邦学习中的模型无关协作学习，消除了模型参数的可扩展性问题，同时保留了联邦学习的隐私保护优势，并允许个性化学习的知识自适应
PDF4 months ago
FedSiKD: 应对非 i.i.d 和约束的联邦学习中的客户相似性和知识蒸馏
FedSiKD 是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对 HAR 和 MNIST 数据集，FedSiKD 相较于现有算法具有更高的
PDF5 months ago