1 min read
Linear Attention 0:从 Attention 到线性注意力
线性注意力系列第一篇:从标准 attention 的二次复杂度出发,梳理 kernel trick、causal form 与 recurrent form 的基本推导。
Essays & research notes
Notes on ML systems and efficient generative AI — linear attention, diffusion language models, inference engines, GPU kernels, and the occasional reflection on PhD life.
3 notes 1 year
线性注意力系列第一篇:从标准 attention 的二次复杂度出发,梳理 kernel trick、causal form 与 recurrent form 的基本推导。
最近到 Qwen 实习之后,我竟然发现,自己压根没有时间学习了。
Qwen Infra Research 五轮面试复盘,从 Mentor 面到主管面,逐轮记录考点与心得。
Archive in progress
Try another keyword or clear the filters to see every post.