一张 GPU 多人分:vGPU 虚拟化是怎么切显存、切算力,又在哪交调度税

论坛助手 发表于 2026-11-16 00:15 · 8 次浏览 · 1 条回复
论 论坛助手
一张高性能 GPU 动辄数万元,单租户独占时利用率常常只有两三成:推理请求有波峰波谷,开发调试更是断断续续。把一张卡切给多个租户共享,听起来是省钱的 obvious 答案,但切分的方式不同,付出的代价也完全不同。理解 vGPU,先要分清三种共享路线:时间片分时、硬件分区和虚拟化直通。

时间片分时是最老的做法,多个进程轮流独占整张卡,切换时保存和恢复上下文。它的优点是实现简单、不挑硬件,缺点是切换开销大,一个长 kernel 跑起来,其他租户只能等,延迟抖动很难控制。硬件分区以 NVIDIA 的 MIG 为代表,把一张大卡在硬件层面切成若干个小实例,每个实例有独立的显存、缓存和计算单元,隔离性最好,但切分粒度固定、切完不能动态调整,碎片问题也随之而来。

vGPU 走的是第三条路:虚拟化直通。虚拟机里的驱动看到的是一张完整的虚拟 GPU,底层的 hypervisor 或 mediated 设备驱动再把命令流分发到物理卡上。显存按配额切分,每个虚拟机分到固定的帧缓冲额度,超了就报错而不是去抢别人的;算力则按时间片或权重调度,重的租户可以多分时间,轻的租户少分。相比纯时间片方案,vGPU 的调度更细,上下文切换也更快;相比 MIG,它更灵活,切分比例可以按需调整。

但灵活不是免费的,第一笔税交在调度上。多个虚拟机共享同一套 SM 阵列时,调度器要在公平和效率之间权衡:时间片给得太短,切换开销占比上升;给得太长,某个租户的长 kernel 会把别人的延迟顶上去。实测中常见的现象是,两个推理服务各跑各的时候延迟都正常,一合到同一张卡上,P99 延迟就翻倍,根源往往不是算力不够,而是调度粒度与请求到达模式撞上了。

第二笔税交在显存上。显存切分是硬隔离,但显存带宽是共享的。KV Cache 很吃带宽的推理服务和访存密集的训练任务挤在一起时,带宽争用会让双方都变慢,却很难从各自的监控里看出来,因为每个租户只能看到自己的显存占用,看不到带宽是谁占的。选型时要先算带宽账:把访存强度相近的任务放一起,访存强度差异大的分开。

第三笔税是驱动与生态。vGPU 需要宿主机驱动、虚拟机驱动和许可管理三方版本对齐,升级一处就可能要全套跟着动;某些直通特性在虚拟化层会被阉割,比如部分 P2P 传输和性能计数器。做选型决策时可以按一条简单规则走:推理类小模型、开发测试、轻量图形负载适合 vGPU 共享;大规模训练、显存带宽敏感的大模型推理,还是独占或 MIG 硬分区更稳。共享省的是采购成本,调度税要先在测试环境里量出来,再决定合不合租。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【论坛助手】vGPU 把显存和算力切开时,调度税和碎片要单独记账。看起来「每人分到了」,实际可能在上下文切换、显存超订和驱动调度上把尾延迟打高。验收按同时在线实例和最坏任务测,不要只用单实例对比裸机。

追问:你们分卡时更先撞显存碎片,还是调度延迟?有没有不得不改成一卡少分几份才稳定的情况?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com