旧电脑能跑本地大模型吗3档真实配置

旧电脑能跑本地大模型吗？3档真实配置

最近碰到一个客户，信息部的负责人，开口就问图老师：想试试本地大模型，一定要买新服务器吗？

他们公司去年采购过一批设备，现在预算卡得紧，新采购审批要排到下半年。

机房角落里躺着几台旧电脑、一台退役的游戏主机、还有一台老工作站，他想知道这些东西到底能不能利用起来。

这个问题问得很实在，图老师今天就把话说透：旧机器能干什么、不能干什么，一档一档讲清楚。

结论先给：能跑，但能跑多少、跑多快，取决于你那台机器落在哪一档。

本地大模型先看硬件账

讲配置之前，先把两个决定性参数说清楚，一个是内存，一个是显存。

大模型跑起来，最吃的就是这两块：参数量决定模型多大，量化精度决定它压缩后占多少空间。

一个参数量7B级别的模型，量化之后大概占4到6GB，这是企业文档问答里最常用的一档，速度和质量的平衡点就在这附近。

参数量再往上，对硬件的要求就不是旧机器能兜住的范围了。

参数量14B级别的模型，量化后要10GB上下，回答质量更好，硬件门槛也上一个台阶。

怎么估自己要哪一档？图老师的经验是看文档类型：制度流程类文档7B基本够用，涉及图纸参数、配方记录这种专业密度高的，14B起步才压得住。

显存够，模型就住进显卡；显存不够，就落到内存里用CPU算，速度差几倍到几十倍，这是旧机器档位划分的根本依据。

另外说一句，本地大模型不只是聊天，接上图博数智的知识库以后，它要干的活是读你的文档、带出处回答问题，这对稳定性要求比个人玩具高得多。

纯CPU老机器的边界

第一档，纯CPU的老电脑，比如行政岗换下来的那种办公机。

内存8GB的，说实话只能跑参数量1B到3B的小模型，做个简单问答勉强，复杂一点的文档理解就开始胡说。

这种小模型拿来当企业知识库的底座是不够的，专业名词一多就答非所问，只能当演示用。

内存能加到16GB到32GB的，7B量化模型可以跑起来，文档问答能用，代价是速度慢——生成一条回答要等十几秒到几十秒。

这一档的正确期待是验证和试用：让员工先感受一下本地AI问答是什么体验，确认场景再谈投入。

回答速度慢在内部试用阶段通常不是致命问题，大家更关心的是答得准不准、出处给不给得出。

图老师见过一家客户拿两台旧办公机组了个试用角，跑了一个月，员工提了三十多条真实需求，后面采购论证顺理成章。

但要诚实地说，这一档扛不住并发，三五个人同时问就排队，正式给部门用不行。

旧游戏卡的显存硬限

第二档，机器里躺着一张旧游戏卡的，这一档的性价比经常被低估。

很多IT负责人一上来就问卡的新旧、算力高不高，其实先看显存，算力是第二位的事。

8GB显存的旧卡，7B量化模型放进去正好，单机问答流畅，几个人用没压力。

这类卡前几年是高端游戏配置，现在二手市场上量很大，很多公司IT仓库里一翻就是一张。

显存12GB的，可以摸到14B档的模型，回答的细节和理解力明显上一档，这对专业领域的问答是实打实的提升。

卡在6GB以下的，别勉强塞大模型，老老实实跑3B到4B的小参数模型，做固定场景的问答反而稳。

硬塞大模型的结果通常是显存溢出到内存，速度反而比纯CPU还慢，得不偿失。

判断有没有溢出有个土办法：跑模型时看任务管理器，显卡占用顶满但显存没超，说明模型还在卡里；一旦内存占用跟着涨，就是溢出了，赶紧换小一档的模型。

这一档的边界也要说清：单卡带一个部门日常问答可以，跑批量文档解析、多智能体协同这种重活，旧卡吃不消。

还有个细节容易被忽略，旧卡的散热和电源，跑模型是小时级连续负载，跟打游戏不一样，开机箱清个灰、看看电源功率，能省掉后面一堆玄学故障。

旧工作站改造余地最大

第三档，退役的旧工作站，这是三档里最值得投入的。

工作站底子好：电源功率足、内存插槽多、散热规格高，改造空间大。

同一笔改造预算花在普通办公机上只能续命，花在工作站上是真升级，这笔账要先算明白。

改造顺序图老师建议先加内存，再考虑加卡。

内存加到64GB，CPU推理的余量就出来了，批量文档解析这种不着急但费算力的活，交给内存大的机器夜里跑，白天照样用。

改造预算的量级也交代一下：加到64GB内存大概几百到一千出头，一张二手12GB显卡一千五到三千，比新服务器动辄几万的起步价低一个数量级。

要是预算允许再添一张工业级显卡，这台机器就能从试用工具升级成部门级的AI底座。

图博数智给客户做本地部署规划时，这一档机器经常被留下来当第一批载体，验证完场景再扩GPU资源，投入节奏更稳。

真到了要多卡支撑全公司的时候，靠的是基于K8s的GPU调度优化把卡用满，那是另一个阶段的事，旧工作站替你把前面那段最不确定的路先走了。

图老师在图博数智做inFab交付，这类问题处理过一轮又一轮。

inFab整套支持本地化交付，模型和知识库进企业内网；底下的GPU调度优化，把行业普遍不到25%的利用率吃到3倍业务量，传统5张卡跑的5个模型，2张卡就兜得住。

数据全程不出门，这是inFab本地化交付的默认选项。

三档配置怎么对号入座

最后把三档整理成一张清单，你可以直接对号入座。

纯CPU老机器：内存8GB只能试用，加到32GB可跑7B量化模型做文档问答，适合验证场景，别指望并发。

旧游戏卡：8GB显存跑7B流畅，12GB摸到14B档，适合单部门使用，注意散热和电源。

旧工作站：先加内存到64GB再谈加卡，改造余地最大，适合当企业AI的第一台正式载体。

判断顺序也简单：手头有什么就用什么起步，场景验证通过再谈采购，比一上来就买服务器稳得多。

旧机器的真实价值，是让你用接近零成本把场景试出来，试出来的需求清单，才是花大钱时的底气。

数据不出本地这一点，从第一台旧电脑跑起来的那天就成立了，跟机器新旧没关系。

预算、场景、机器三样对上了，旧电脑就是大多数企业上本地大模型最务实的第一步。

关注我，图老师每天分享一个企业AI落地的真问题、真办法。