使用 pull
命令可以下载模型至本地。
ollama pull [模型名称]:[模型标签]
说明:
[模型标签]
参数为可选项,不配置时下载默认标签,具体可参考对应模型的文档。示例:
llama3.3
默认(70b
)模型ollama pull llama3.3
phi4
默认(14b
)模型ollama pull phi4
llama3.1
8b
模型ollama pull llama3.1:8b
llama3.1
70b
模型ollama pull llama3.1:70b
llama3.1
405b
模型ollama pull llama3.1:405b
deepseek-r1
1.5b
模型ollama pull deepseek-r1:1.5b
使用 run
命令可以在本地运行模型。
ollama run [模型名称]:[模型标签]
说明:
[模型标签]
参数为可选项,不配置时使用默认标签,具体可参考对应模型的文档。示例:
llama3.3
默认(70b
)模型ollama run llama3.3
phi4
默认(14b
)模型ollama run phi4
llama3.1
8b
模型ollama run llama3.1:8b
llama3.1
70b
模型ollama run llama3.1:70b
llama3.1
405b
模型ollama run llama3.1:405b
deepseek-r1
1.5b
模型ollama run deepseek-r1:1.5b
使用 run
命令运行模型后,会进入命令行对话模式,直接测试即可。
curl -X POST http://[IP]:[端口]/api/generate -d '{
"model": "[模型名称]:[模型标签]",
"prompt":"[输入内容]"
}'
说明:
[IP]
参数 : 运行 ollama 服务主机的 IP。[端口]
参数 : ollama 端口号。[模型名称]
参数 : 需要调用的模型名称。[模型标签]
参数 : 可选项,需要调用的模型标签,不配置时使用默认标签,具体可参考对应模型的文档。[输入内容]
参数 : 向模型输入的内容。示例:
phi4
14b
模型curl -X POST http://127.0.0.1:11434/api/generate -d '{
"model": "phi4:14b",
"prompt":"Why is the sky blue?"
}'
llama2
默认标签模型curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'
使用 Docker 方式部署时,可以使用 docker exec
命令执行对应的命令。
docker exec -it [容器名称] ollama pull [模型名称]:[模型标签]
说明:
[容器名称]
参数为 Ollama 容器名称或 ID。[模型标签]
参数为可选项,不配置时下载默认标签,具体可参考对应模型的文档。示例:
ollama-test
的容器中,下载 phi4
默认(14b
)模型docker exec -it ollama-test ollama pull phi4
ollama-test
的容器中,下载 llama3.1
8b
模型docker exec -it ollama-test ollama pull llama3.1:8b
ollama-test
的容器中,下载 deepseek-r1
1.5b
模型docker exec -it ollama-test ollama pull deepseek-r1:1.5b
docker exec -it [容器名称] ollama run [模型名称]:[模型标签]
说明:
[容器名称]
参数为 Ollama 容器名称或 ID。[模型标签]
参数为可选项,不配置时下载默认标签,具体可参考对应模型的文档。示例:
ollama-test
的容器中,运行 phi4
默认(14b
)模型docker exec -it ollama-test ollama run phi4
ollama-test
的容器中,运行 llama3.1
8b
模型docker exec -it ollama-test ollama run llama3.1:8b
ollama-test
的容器中,运行 deepseek-r1
1.5b
模型docker exec -it ollama-test ollama run deepseek-r1:1.5b
使用 run
命令运行模型后,会进入命令行对话模式,直接测试即可。
curl -X POST http://[IP]:[端口]/api/generate -d '{
"model": "[模型名称]:[模型标签]",
"prompt":"[输入内容]"
}'
说明:
[IP]
参数 : 运行 ollama 服务主机的 IP ,若在容器内执行,可使用 127.0.0.1
,否则应使用主机 IP。[端口]
参数 : ollama 端口号,若在容器内执行,应使用 ollama 端口号,否则应使用主机映射端口号。[模型名称]
参数 : 需要调用的模型名称。[模型标签]
参数 : 可选项,需要调用的模型标签,不配置时使用默认标签,具体可参考对应模型的文档。[输入内容]
参数 : 向模型输入的内容。示例:
phi4
14b
模型curl -X POST http://127.0.0.1:11434/api/generate -d '{
"model": "phi4:14b",
"prompt":"Why is the sky blue?"
}'
llama2
默认标签模型curl -X POST http://192.168.0.100:30000/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'