【2026-11-01】本文成功将 Muon 应用于一个激活参数量为 3B、总参数量为 16B 的 MoE 模型，并使用 5.7T tokens 对其进行了训练。研究结果表明，Muon 能够有效替代 AdamW，成为大规模大语言模型训练中的标准优化器，并在训练效率和模型性能方面展现出显著优势。

【2026-10-25】从 SGD 到 Muon 的优化器原理。

【2026-10-18】Qwen3.8-Flash-Next 是一个开源权重的多模态 MoE 模型，同时作为 Qwen4 所用模型结构的先导预览。它承担的角色与 Qwen3-Next 对 Qwen3.5 的角色一致。

【2026-10-01】本文提出 DeepSeek-V4.1-Flash，通过 Causal Encoder-Decoder 架构、CSA2 压缩稀疏注意力配合 FP4 KV 缓存、SWA Bounded Replay 部署优化以及外挂 Engram 条件记忆模块，将全局 KV 缓存压至每 token 890 字节、持久 KV 缓存降至约 1/8，在大幅降低 Agent 负载成本的同时保持甚至提升了多模态与 Agent 场景性能。

【2026-09-02】本文提出了用于 Agentic RL 的 Single-rollout Asynchronous Optimization (SAO)。目标是：在存在 policy lag 的异步 RL 环境下，仍然保持训练稳定性和有效性，同时保留异步训练带来的效率优势。

【2026-08-23】本文提出 Zero Redundancy Optimizer（ZeRO），目标是在保持数据并行计算粒度和较低通信量的同时，消除训练过程中重复存储的模型状态。

【2026-05-21】解读DeepSeek-V4论文。

【2026-04-27】本文提出 FlashAttention，一种 IO-aware 的精确 attention 算法。其核心思想是通过 tiling（分块计算）和 recomputation（反向传播时重计算）两个技术，避免将 N×N 的 attention 矩阵写入 GPU HBM（高带宽内存），从而大幅减少 HBM 读写次数。

【2026-04-26】本文引入了条件记忆作为对当前流行的条件计算范式（MoE）的互补稀疏性轴，旨在解决通过动态计算模拟知识检索的低效问题。通过 Engram 模块实例化了这一概念，该模块将经典的 N-gram 进行现代化改造，以实现静态模式的可扩展、常数时间查找。

【2026-04-21】本文提出了流形约束超连接（Manifold-Constrained Hyper-Connections, mHC），它将 HC 的残差连接空间投影到特定的流形上，以恢复恒等映射特性。实验表明，mHC 在大规模训练中是有效的，在性能提升的同时具有更优的可扩展性。