DeepSeek | 本地部署DeepSeek-R1模型及经验总结

记一下自己的操作步骤。

硬件情况

我的GPU是RTX 4070Ti Super，16G显存。

CPU是i5-12600KF。

内存是DDR5 64G。

Win10。

经验总结

最后部署了14B的模型，比较流畅，显存占用11G左右。

7B、8B都布过，显存占用没看。

32B的布完爆显存（或者是爆内存？）了，能用是能用，卡的离谱。

看网上说还有一个量化过的deepseek-r1:32b-q4_0，还没试。

大致情况是这样，后面就没什么营养了，都是网上说烂了的东西。

安装Ollama

官网下载安装包并安装。

Ollama是一个命令行工具，安装完后可以在命令行ollama -v验证。

需要注意的是，Ollama默认安装位置和模型存储位置在C盘，按需自己修改，修改方法是设置环境变量，例如：

OLLAMA_MODELS=F:\LLM\Ollama\models

使用Ollama下载并运行DeepSeek-R1-14B模型

ollama run deepseek-r1:7b

这一步需要注意的是，网络直连速度一般，不到1M。按需自己想办法。

安装ChatBox

官网下载安装。

设置中，模型提供方选择Ollama Api，Api域名写http://localhost:11434，下面的模型选择deepseep-r1:14b。

到这就能用了。