神经网络在野外是否能够学习实现诸如预测或搜索等算法？还是纯粹依赖简单启发式规则的集合？我们通过 Leela Chess Zero 中感知网络的学到的预测来证明神经网络的学到的预测能力，并发现这些表示对其在特定局面下的最终输出至关重要。这些发现证明了神经网络学到的预测存在，并可能对我们对其能力的理解产生影响。

Jun, 2024

本文介绍了一种新颖的基于 Transformer 的自回归架构，通过根据某些提议分布外推过去的多个连续部分来估计下一个令牌的分布，并关注这些扩展字符串，以改进自回归模型的性能。

May, 2023

我们研究了大型语言模型中的预测规划机制，通过分析信息流和内部表示的角度，我们发现多层感知器和多头自注意力组件在最后一个标记上的输出可以直接解码决策，在信息流方面，我们揭示了多头自注意力主要提取目标状态和最近步骤的范围内的信息，我们进一步探索了这些信息的编码方式，并展示了中间和上层在成功规划时在一定程度上编码了一些短期未来决策，这项研究有助于未来在大型语言模型执行规划任务方面的研究。

Jun, 2024

本文介绍了一种名为 LaMemo 的模型，它通过增量地注意右侧的标记，并与旧的内存状态插值，以维护历史上的长期信息，它将双向注意力和段重复与附加计算开销相结合，只与内存长度成线性比例关系。实验表明 LaMemo 在广泛使用的语言建模基准测试中优于其他不同类型的内存装备。

Apr, 2022

使用语言模型的长期动作预测方法 (LALM) 在 egocentric vision 中取得了领先地位，通过整合动作识别模型与视觉 - 语言模型，利用过去的事件信息进行动作预测，达到了在不同复杂活动中的泛化能力。

Nov, 2023

本文提出了一种更好的学习智能的方法 —— 前瞻性学习，指的是智能代理在学习未知的、前所未见的任务时，更新内部模型以适用于未来任务。这种学习方法依赖于四个关键因素：连续性学习、前瞻性约束、好奇心和因果估计。

Jan, 2022

介绍了一种算法设计范例 —— 基于学习预测器的算法，将在线学习技术应用于预测器学习、调整鲁棒性 - 一致性折中并绑定样本复杂度，在构建优美的预测器的同时，在二分图匹配、滑雪租赁、页面迁移和作业调度等多场景中优化了多个现有结果，且提供了第一批基于学习理论的担保。

Feb, 2022

ANTICIPATR 模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

Oct, 2022

利用机器学习模型从过去和现在的数据中获得的预测，近期算法设计的先进方法已经显示出提高性能的潜力，并在预测失败时提供最坏情况保证，本文研究在线问题，着重于将学习问题与算法挑战相互整合，并设计了专为所需算法任务而量身定制的在线学习算法，通过细致设计的明确学习算法提出了优化总体性能的新算法，并证明了我们方法的潜力通过改进以前研究中建立的性能界限。

Mar, 2024

介绍了一种算法无关的可解释的替代建模方法，以评估终身学习算法的潜在特性，并通过对合成数据的实验验证了该方法的有效性。

Jul, 2022