EXERCISE BANK
脱离引导的独立练习：计算、轨迹、方案与 WebGPU 实验；错题进入错题本。
传统 HPC 的天气预报和今天的 GPT 训练，各自的核心计算有什么不同？
一个模型有 10 亿个 FP32 参数，权重本身约 4 GB。 Adam 为每个参数保存一阶动量和二阶动量，各占 4 字节。 优化器状态大约占多少 GB？
推理时把多条样本拼成一批，通常能提高 GPU 利用率。主要原因是？
H100 的 FP32 峰值约 67 TFLOP/s，显存带宽约 3.35 TB/s。 屋顶线的转折点约是多少 FLOP/字节？填整数近似值。
训练一步通常按“几次前向”来估算总计算量？填数字。
下面哪项主要属于推理系统，训练时不需要？
把任务交给 agent 时，下面哪组信息最不可少？
长任务里，agent 把前面确认过的约束忘了。最可能的原因是什么？
agent 给了一段代码答案。下面哪种验证最便宜、也最可靠？
引用一个性能数字时，必须同时给出什么？
一个函数有 100 万个输入（参数）、1 个输出（损失）。求所有输入的梯度，适合哪种模式？
反向传播按什么顺序执行计算图里的节点？
x = 2，y = x^2，z = 3y。 z 对 x 的导数是多少？
第一次 backward() 之后，再对同一个损失调用一次 backward()，通常会报错。主要原因是？
每个 micro-batch 有 8 条样本，累积 4 个 micro-batch 后再更新一次参数。 等效的 batch 大小是多少？
PyTorch 里转置一个张量通常不复制数据，主要原因是？
算子分发器选择具体 kernel 时，主要看哪些信息？
在 eager 模式下执行 y = relu(x @ w + b)，通常会产生几个 kernel？
给定 y = relu(x @ w + b)，请设计一个融合 kernel，并说明： 1. 矩阵乘的结果放在哪里，为什么不写回显存； 2. 加偏置和 relu...
PyTorch 的 Inductor 在 GPU 上通常生成什么代码？
自回归生成 1000 个 token。没有 KV cache 时，旧位置被重复完整前向的总次数约为多少？ 填整数近似值。
模型层数、头数、头维度固定时，KV cache 的显存占用随序列长度如何增长？