有没有大佬教一下

至死丶不渝。 · 发表于 2024-12-28 21:44:27

虽然是作业但周围同学问了也不会做，gpt只有公式

重阳贝贝 · 发表于 2024-12-28 21:44:43

空白式戀愛 · 发表于 2024-12-28 21:45:35

这个过程很多书没讲清楚，qKV都一样维度，行列形状，好象行由tokens最大量决定，列由嵌入维度除以头数决定，softmax此处是对tokens最大量方阵形状的行内各值求，之后此softmax矩阵再矩阵乘V，再多头连一块终得与嵌入维度一致的行列形状而保持形状不变性。

最终的吻安 · 发表于 2025-1-8 11:40:46

路过，我是来打酱油的！