DeepSeek本地部署體驗 比想象中有趣

DeepSeek兴起以后,本地部署AI大模型逐渐走进了大众视野,对比云端版本,本地部署的优势很明显,不需要联网,告别遇到“服务器繁忙,请稍后再试”这种问题,而且数据库存在本地,同时具有隐私性,保护数据安全｡

因为DeepSeek显著降低了部署成本,使得不少消费级电脑都能轻松玩转,变成超级私人AI助理｡不过毕竟需要依靠自身硬件来跑AI大模型,虽然成本降低了不少, 但也不是没有门槛,只不过相对较低一些｡

目前DeepSeek开源特性,开发者跑出了五花八门的模型,专业名词叫蒸馏模型,这些蒸馏模型有些专门为低配电脑训练,让入门级硬件也能跑本地部署AI大模型,不过在运行的精度方面肯定没有那些高配满血版高了,可以说将一分钱一分货的理论发挥的淋漓尽致｡

目前DeepSeek R1完整版模型为671B,此外它还有70B､c､14B､8B､7B､1.5B六个原始蒸馏模型,而六个原始蒸馏还被个人开发者训练除了各种量化版本,以满足不同平台､行业用户的需求｡

1.5B是原始最小的模型,搭载一般4G显存和8GB内存的显卡游戏本就能跑｡而使用单张显卡不考虑魔改和多卡的话,一般消费级电脑的顶点在32B､70B的蒸馏模型,需要20GB以上显卡搭配64GB以上内存｡其实从数字也能看出来高配版和低配版蒸馏模型的差异,1.5B和32B､70B不在一个量级｡

我们这次来玩一玩DeepSeek本地部署,给大家出一套简易版本部署教程,首先准备了一套电脑平台,配置如下:

这次我们使用了了AMD 锐龙9 9950X3D这款最新发布的处理器,兼具游戏以及生产力,目前在这双端都做到了业界领先｡

为了能让这款处理器可以跑满性能,我们搭配技嘉X870 A ELITE WE7 ICE主板,这是一款纯白主板,拥有16+2+2相供电模组,配备全覆盖式散热装甲,足够AMD 锐龙9 9950X3D发挥出全部实力｡

同时这款主板拓展能力不俗,不仅提供PCIe 5.0显卡插槽以及M.2插槽,还在I/O区域板载12个USB接口,包括两个最新的USB 4接口｡目前这款转还提供4年质保以及1年换新服务,售后无忧｡

显卡为AORUS GeForce RTX 5090 D MASTER ICE 32G,这款显卡采用GB202核心,使用与上一代相同的TSMC 4nm定制工艺(TSMC 4nm 4N NVIDIA CustomProcess),芯片面积750mm2｡拥有21760个CUDA,Boost频率为2655MHz｡ 采用32GB GDDR7显存,位宽为512bit,显存带宽达到了1792 GB/s,光栅单元和纹理单元为176和680｡

显示器为技嘉FO32U2P OLED显示器,这是一款4K顶级桌面显示器,采用QD-OLED面板,拥有240Hz刷新率以及0.03ms响应时间,还经过ClearMR 13000认证以及HDR400认证,提供了更加真实的画面表现｡

在部署之前,我们首先要确定使用的容器,也就是启动器,玩过Stable Diffusion对此应该不会陌生,大名鼎鼎的秋叶启动器就是一种容器｡目前很多支持DeepSeek的容器,根据自己的需求搜索容器官网去下载即可,我们这次先使用的是LM Studio｡

LM Studio对于新手还是非常友好的,界面简洁干净,逻辑清晰,我们安装打开点击下方齿轮设置,可以调节成简体中文,不过目前中文仅限于一些基础界面和功能调节｡

来到正式界面,与大家网页端看到的样式其实差不多,顶部是加载模型的地方,我们下载了一个32B版本的模型,加载后直接对话即可｡

加载模型时能设置一些细节,比如字数､CPU步进之类的,底部种子玩过Stable Diffusion都知道是什么,用来跑出和其他人接近的生成结果｡

左侧放大镜图标里是LM Studio的模型库,里面提供一些蒸馏后的DeepSeek R1,可以看到很多版本,有27B､12B､4B等训练好的模型,可以根据需求下载,模型越高级需求的容量也就越大,比如我们使用的32B版本就需要18个GB以上｡

如果不使用LM Studio里面的模型而是下载了独立的模型也没问题,找到左侧图表中的文件见惨淡,顶部会给出模型目录,将模型拷贝进去即可,就可以在第一步的加载模型顶部栏中找到它去使用｡

我们这里使用了这个32B模型进行了对话,响应速度极快,整个对话内容生成不到几秒钟｡这得益于整个平台性能确实很强大,在跑这个模型时,显存使用了21.5GB左右,内存利用了9GB左右｡

对于这种大语言模型,显存和内存的容量很关键,这套技嘉平台,AORUS GeForce RTX 5090 D MASTER ICE 32G有32GB大显存,内存容量高达64GB,没有达到上限,就可以让这写硬件本身性能发挥出来,所以很轻松就能让本地32B模型快速响应｡

注意如果你的模型太过高级,需求量超出你的显存和内存容量,记得不要强行跑,因为生成的速度会很慢,1分钟可能都生成不了几个字,比如降低一下蒸馏版本,选择合适自己的模型｡

AMD 锐龙9 9950X3D占用率也只有10%,这样在生成时闲暇之余也可以做些别的日常,比如看视频,玩一玩显存足够的游戏｡

不过本地模型也有局限性,那就是信息取决于模型,如果你的模型数据库里没有包含相应的信息,它就不会给你想要的答案｡比如我们这个模型模型库的时间在2024年,所以我下面问的这个关于AMD 锐龙9 9950X3D的问题它就没有准确回应,而是用错误数据填充了答案｡因此在涉及数据相关的内容时,还是需要谨慎一些,AI目前毕竟只是辅助工具｡

总结来看,DeepSeek确实降低了AI大语言类本地部署的门槛,目前消费级电脑是可以去尽心体验的,相较于云端响应速度更快,只服务于你一人,也能针对性下载相应的模型来满足自身定制需求｡缺点则是依旧有一定门槛,并且吐过不常更新模型数据库信息的话,不能实时解答热点问题,整体操作也确实没有云端简单,毕竟现在很多人连压缩包都解不明白,那确实不太好上手｡

对于硬件而言,我们这套技嘉X870 A ELITE WE7 ICE主板+AMD 锐龙9 9950X3D+AORUS GeForce RTX 5090 D MASTER ICE 32G+64GB的组合玩转DeepSeek是没有任何压力的,消费级这样的平台也基本都到头了,顶多可能将内存升到128GB,那就有可能挑战更大规模的模型,总体而言顶级消费级平台体验本地部署会非常舒服,建议有能力的用户去尝试一下｡