Feb, 2024

鲁棒学习增强字典

HTML
PDF
TL;DR我们提出了第一个学习增强的数据结构，用于实现拥有最佳一致性和鲁棒性的字典。我们的数据结构名为RobustSL，它是一个带有数据序列中元素访问频率预测的跳表。通过正确的预测，RobustSL可以实现最佳一致性（达到静态最优性）。同时，它保持每个操作的对数运行时间，确保了最佳的鲁棒性，即使预测是针对性生成的。因此，RobustSL具备了Lin、Luo和Woodruff（ICML 2022）以及Cao等人（arXiv 2023）最近提出的学习增强数据结构的所有优点，并提供了先前工作中缺失的鲁棒性保证。数值实验表明，RobustSL在使用合成和真实数据集时优于其他替代数据结构。
发现论文，激发创造
  • 关于强鲁棒分类的困难程度

    本文研究了机器学习模型对抗攻击的容易受攻击性问题，并从计算学习理论的角度探究了鲁棒学习的可行性和计算复杂度，并给出了相应的计算困难性证明。

    Sep, 2019

  • 将未标记数据纳入分布鲁棒学习中

    本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在14个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。

    Dec, 2019

  • AugLy: 针对鲁棒性的数据增强技术

    介绍了一个数据增强库AugLy，特别注重对抗性鲁棒性，提供了多种不同类型数据增强方式，可用于任何数据增强的任务中，具有系统生成对抗性攻击和评估模型鲁棒性的实用性。

    Jan, 2022

  • 提升几乎健壮的学习器：对抗鲁棒性的新视角

    介绍了一种用于提高仅具有弱对抗性鲁棒性的学习算法对抗性鲁棒性的oracle-efficient算法，提出了仅具有弱对抗性鲁棒性的学习算法需要更大扰动集的概念，这对于强对抗性鲁棒性学习来说是必要的。研究结果揭示了两个看似不相关的问题之间的定性和定量等价：强对抗性鲁棒性和仅具有弱对抗性鲁棒性的学习。

    Feb, 2022

  • 带有预测的在线列表标记

    本论文研究了将预测融入 online list labeling 问题中，提出了一种新的数据结构并给出了 worst-case 和 stochastic error 两种模型的保证，以预测误差作为保证的上界，同时在实验中展示了该数据结构在实际应用中的表现。

    May, 2023

  • 抗逃逸攻击的强健学习中的样本复杂度

    从学习理论的角度研究鲁棒学习的可行性，考虑样本复杂性，研究了鲁棒学习在拥有随机样本、满足Lipschitz条件的数据分布和更强学习能力的情况下的对抗性攻击的脆弱性，提出了基于经验风险最小化的鲁棒算法，并给出了查询复杂性的上下界。

    Aug, 2023

  • 从特定到通用的学习排序集字典：在实践中产生具有竞争力的数据结构增强器的理论上可靠的范式

    在机器学习和经典数据结构的交叉领域中，这项研究关注了学习数据结构，这是一个具有重要方法论意义和高实用性影响的新领域。我们提出了一种新的思路，通过对任何排序集合字典进行学习，例如平衡二叉搜索树或其他非排序布局的二分搜索，从而在时间性能上取得了令人印象深刻的提升。

    Sep, 2023

  • 学习增强跳表

    通过将机器学习建议整合到跳跃表的设计中，我们改进了传统数据结构设计，并构建了一种能够在几乎两倍内提供最优预期搜索时间的学习增强型跳跃表，即使预估的搜索查询存在误差，该方法依然能够是唯一最优的，而且如果搜索查询符合普遍存在的齐夫分布，那么我们的跳跃表的预期搜索时间只是常数，与项的总数量无关，而传统跳跃表的预期搜索时间则是对数时间。同时，通过实证研究，我们证明了我们的数据结构在合成和真实数据集上均优于传统跳跃表。

    Feb, 2024

  • 鲁棒熵搜索的安全高效贝叶斯优化

    通过开发高效的信息获取函数Robust Entropy Search（RES），我们在合成数据和真实数据的实验中实证其优点，并展示了RES相对于最先进算法的优越性，从而解决了工程应用中贝叶斯优化（BO）的高采样效率和找到稳健解决方案的特殊要求，特别是在参数完全可控但在应用时部分参数不可控或甚至被干扰的对抗鲁棒性情况下。

    May, 2024

  • 朝着稳健的检索增强语言模型: 揭示不完美检索对检索增强语言模型的影响

    本研究解决了检索增强语言模型（RALMs）在不完美信息环境下的脆弱性，特别是在应对无法回答、对抗性和矛盾等问题场景中的表现不足。通过提出新的对抗攻击方法GenADV和稳健性评估指标RAD，研究揭示RALMs在识别文档集合的无法回答性或矛盾性方面的不足，指出需加强模型的鲁棒性，以提升其实用性。

    Oct, 2024