大模型本地部署显存不够怎么办3个真实方案
大模型本地部署显存不够怎么办？3个真实方案
上次写完显卡怎么配，后台收到一堆追问，最多的一类是，图老师，卡已经买了，模型也选了，跑起来显存不够，怎么办。
这个问题太典型了。
预算批的时候按单场景入门配置买的，业务跑起来发现要上RAG知识库、要接语音识别、要多模型并行，显存一下就顶满了。
这是本地部署的典型成长烦恼。
业务跑得顺才会加场景，加场景才会显存不够，从这个角度说，显存不够反而是好事，说明AI真的在干活了。
但成长的烦恼也要有解法，往下看。
新业务还在排队，硬件已经见底。
换卡贵，一张专业卡好几万，加卡慢，走采购流程小一个月。
更扎心的是，很多企业的显存紧张是假性短缺。
卡是真买了，模型是真跑了，但四分之三的显存空间从头到尾没被用过，一边喊不够一边浪费。
这种情况下先别急着花钱，三个方案按顺序试下来，多数显存问题不用动采购预算。
今天图老师给3个真实方案，不用换硬件也能把显存问题解掉大半。
方案一量化压缩换显存
第一个方案，模型量化，拿精度换显存。
原理一句话讲清。
大模型的参数原本用16位精度存储，压成8位或4位，显存占用直接减半再减半。
一个32B的模型，16位要七十多G显存，4位量化后二十G出头就能跑，原来两张卡跑不动的模型，一张卡就装下了。
效果量化成绩效怎么算。
8位量化在绝大多数任务上几乎无损，日常感知不到差别。
4位量化在复杂推理任务上会有能感觉到的下降，但知识库问答、文档摘要、翻译改写这类企业主流场景，依然够用。
图老师的建议是，企业场景8位量化放心用，涉及复杂推理再考虑16位，那时候再谈加卡不迟。
量化还有个隐藏好处。
模型小了，推理速度反而快了，同样的卡能撑更多并发，原来排队等回答的员工，现在秒回。
图博数智交付时优先推量化起步，就是因为它试错成本最低，效果不满意随时改回16位，一张卡的事。
企业场景里真正需要满血16位的任务，其实比想象中少得多。
拿不准的话先小范围灰度，让两个版本同时跑一周，拿真实业务数据对比，比任何技术评测都准。
量化是三个方案里成本最低的，改个加载配置就能上，显存告急先试它。
一天就能见效，不夸张。
方案二GPU切分提利用率
第二个方案，GPU虚拟化，把一张卡按需切给多个模型。
先说一个反直觉的事实。
显存不够的真实原因，多数时候不是总量不够，是分配方式太粗。
传统部署一个模型独占一张卡。
chat模型用30%的显存闲着70%，检索模型再占一张卡又闲着一大半，语音模型第三张卡，大部分时间在空转。
GPU利用率不到25%是行业常态，四分之三的算力和显存躺在那没人用，你缺的显存可能正在自己机器上睡大觉。
GPU虚拟化做的事情，把整卡切分成资源池，模型按需申请，chat和检索和语音可以共享同一张卡的空闲部分。
图博数智基于K8s做GPU虚拟化、智能调度与跨卡聚合，这套调度能力在多个私有化项目里跑过。
传统5张卡才能跑的5个模型，2张卡搞定，同样的硬件撑起3倍业务量，后面讲的省出来的就是这笔闲置。
对已经买了卡的企业，这条路不用加一分钱硬件。
把闲置的显存捡回来，多数显存告警直接化解。
新项目要加模型，先看调度能不能挤出来，挤不出来的再谈买卡。
有个客户的真实案例。
四个模型四张卡天天喊显存不够，上了调度之后两张卡跑全部，另两张卡直接省下了采购预算。
这不是什么黑科技，就是把闲置资源用起来的基础工程，但绝大多数企业的部署从来没做过这一步。
方案三租用过渡保业务
第三个方案，租GPU过渡，给自购留时间。
业务等不了的场景，明天就要上线，租是最务实的选择。
按月租一张高配卡，几百到几千块，业务先跑起来，显存压力立刻解除，团队不用停下来等采购。
租的核心价值是弹性。
业务高峰期多租两张，淡季退掉，不用为峰值买单，这在预算紧张的时候特别救命。
训练和推理也可以分开安排。
训练任务挪到租的卡上跑，自有卡专心做日常推理服务，两边互不挤占。
很多团队显存告警就是训练任务把推理服务的空间挤没了导致的，分开之后立刻缓解。
图老师给个判断标准。
租期超过八个月，就不如买了，按这个线算账，该租租该买买，谁也别忽悠谁。
还有个混合用法，自有卡跑常驻模型，租的卡跑峰值任务和训练类临时活，两边配合，成本最优。
过渡期最大的价值不是救急。
是把业务跑通、把真实用量摸清，再按真实需求配卡，比一开始拍脑袋买准得多，很多企业第一批卡买错就是因为没摸清用量就下单。
租还有个不显眼的好处。
先用租的卡把模型和场景全试一遍，哪个模型值得常驻、哪个场景是高频，数据摆出来再决定采购清单。
试错的成本按月算，买错的成本按年算，这笔账很多老板没算过。
显存不够怎么选方案
三个方案讲完，怎么选，看你的处境。
卡已经买了、模型能换的，先上量化，零成本见效快。
卡买了、模型不能动、多模型并行的，上GPU切分，把闲置资源用起来。
业务马上要上线、硬件没到位的，先租后买，用过渡期摸清真实用量。
多数企业的真实组合是量化加切分，两个一起上，显存利用率翻着往上涨，原来的卡突然就够用了。
inFab做私有化部署时这两个方案都会先配上，模型按场景选精度，GPU用调度切分，把客户的硬件成本压到最低再谈扩容。
一句结论可以单独记下：显存不够，先问利用率再谈加卡，把闲置的显存用满，比买新卡便宜一个数量级。
关注我，图老师每天分享一个企业AI落地的真问题、真办法。