EXERCISE BANK
脱离引导的独立练习:计算、轨迹、方案与 WebGPU 实验;错题进入错题本。
一个模型有 10 亿个 FP32 参数,权重本身约 4 GB。 Adam 为每个参数保存一阶动量和二阶动量,各占 4 字节。 优化器状态大约占多少 GB?