您现在的位置是：首页 >其他 >CPU服务器（linux）部署ollama平台，本地使用大模型指北网站首页其他

系统条件：

>lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                96
On-line CPU(s) list:   0-95
Thread(s) per core:    2
Core(s) per socket:    24
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 106
Model name:            Intel(R) Xeon(R) Gold 5318Y CPU @ 2.10GHz

鉴于很多情况下使用docker按照ollama存在一定难度，因此直接在
https://github.com/ollama/ollama/releases/tag/v0.5.?  ###把问好改成当前版本，比如6
下载amd64版的压缩包，下载到本地后解压缩，然后用后台挂载程序方式

>nohup ./bin/ollama serve 2>1&

ollama即可开始使用，命令是

>ollama list ###查看可用的模型

>ollama pull [model]   ###下载你所要用的模型，用时若干小时

>ollama run [model] ###在[model]模型中启动连续对话

此时python中的ollama package也可以配合使用，写一些比较复杂的工作流，不过一定要注意使用时ollama serve是已经挂在在后台的状态

如果ollama serve不再进行使用，kill掉即可