DeepSeek 大模型在 Mac 上的部署和运行
不会还有人没用过 DeepSeek 吧 ?这热度简直炸上天。
之前一直用 Cursor、豆包,现在 AI 雇员又要多一个 DeepSeek 了。
不过 DeepSeek 的服务状态经常无响应,有必要在本地部署一个,之前也尝试在本地部署过 Meta 的开源大模型 Llama3 ,这次部署也是轻车熟路了。
DeepSeek 目前有 1.5b、7b、8b、14b、32b、70b、671b 多种参数类型可供选择。
要是机器性能扛不住,就选个 1.5b 吧,像我 64G 的 Mac Studio ,选个 32b 的也还可以。
首先启动 Ollama ,然后在命令行运行如下命令:
整个模型下载下来大概要占 20G 左右空间,然后就可以在命令行中进行对话了。
可视化操作¶
除了命令行中对话,还有不少开源工具提供了可视化操作,举两个用过的例子:
我正在使用 page-assist ,可以作为 Chrome 浏览器的插件来直接启动,简单快捷。
运行效果也是非常不错的,选择好对应的模型,就可以直接在网页中对话了。
32b 内存压力测试¶
提示词是 "写一段代码输出 a+b 的和" ,运行前内存是 23G 左右,运行后直接飙到 42G 左右,内存增量差不多干了 20G ,这要是机器性能不够还真跑不起来大模型。
如果你的机子只有32G 或者更低,我建议是跑 14b 或者更低的吧,当然更好的选择 还是直接用在线服务,不用占用本地的机器资源了 。