为什么要 Multi-head？attention 其实「不认顺序」
上一篇说 Attention 是一次『软查找』。那为什么还要 Multi-head？以及——它为什么不认识词序，得靠位置编码来救？两件事，一次讲清，配最小代码。
从 0 看懂 Attention
共 2 篇
Attention 到底是什么？其实就是一次「软查找」
别被 Transformer / “Attention is all you need” 吓到——先只搞懂最小的一块：Attention。用你天天用的哈希表类比，一次讲清 Q/K/V，配 20 行 numpy 让你自己算一遍。
订阅更新
用 RSS 阅读器订阅，有新文章会自动出现。
需要定制？
嵌入式 / 边缘 AI / AI Agent 的定制、开发与咨询。