【2026-01-18】本文提出的 Gated Delta Rule 结合了 Mamba2 和 DeltaNet 的优势，能够实现灵活的记忆控制。

【2026-01-18】阿里 NeurIPS 2025 最佳论文，文通过实验系统研究了门控增强的 softmax 注意力变体，并发现：在缩放点积注意力（Scaled Dot-Product Attention, SDPA）后应用特定于头的 sigmoid 门控，能持续提升性能、增强训练稳定性、容忍更大学习率并提升 scaling 特性。

【2026-01-01】YaRN（Yet another RoPE extensioN method）是一种高效扩展上下文长度的方法，旨在解决Transformer模型在处理超长序列时性能下降的问题。

【2026-01-01】解读DeepSeek-V3论文。

【2026-01-01】解读DeepSeek-R1论文。

【2026-01-01】解读Denoising Diffusion Probabilistic Models（DDPM）—— Diffusion模型奠基之作（内含大量推导）。

【2026-01-01】详细分析MLA中的矩阵吸收计算方式。

【2026-01-01】1.从零构建Transformer模型，并完成中英翻译demo；2.PyTorch封装的Transformer用法介绍，并完成中英翻译demo。

【2026-01-01】从零手撕一个小参数量的Llama3模型，进行预训练和微调。

【2026-01-01】从零手撕一个小参数量的DeepSeek-V3模型，包括MLA、MoE、负载均衡、MTP等实现，进行预训练和微调。