选 GPU：先看显存带宽，再看 CUDA 数

选 GPU 时很多人第一眼看 CUDA core 数，但对 AI 负载来说，显存往往才是首要约束。

一、显存容量
决定能跑多大的模型。粗略估算：FP16 推理每 10 亿参数约需 2GB 权重显存，再加 KV Cache 和激活值。一个 70 亿参数模型 FP16 约需 14GB 权重，INT4 量化后约 4GB。训练所需显存是推理的数倍（梯度、优化器状态）。

二、显存带宽
大模型解码阶段每生成一个 token 都要读取全部权重，带宽直接决定生成速度。消费级 GDDR6X 卡带宽约 1TB/s，数据中心 HBM3 卡可达 3TB/s 以上。

三、算力与其他因素
1. Tensor Core 算力与支持的精度（FP16、BF16、FP8、INT8）；
2. 互连：多卡训练需要 NVLink 等高速互连，PCIe 带宽常成瓶颈；
3. 专业卡特性：ECC 显存、双精度性能、虚拟化支持；
4. 功耗与散热：旗舰卡板卡功耗 350~600W，电源要留 30% 以上余量，机箱风道要验证。

四、常见坑
1. 只看显存容量，忽略带宽，导致推理速度不理想；
2. 多卡之间仅靠 PCIe 通信，训练扩展效率低；
3. 二手卡长期高负载使用，风扇和显存可能已老化；
4. 驱动、CUDA 版本与框架版本不匹配。

讨论：
1. 你们本地部署大模型时，显存不够一般用量化还是多卡切分？
2. 消费级卡做小规模训练，遇到过哪些稳定性问题？

二手矿卡水深，选购看核心体质不如看散热模组和供电相数，长期高负载下这两样决定寿命。