您现在的位置是：首页 >其他 >[大模型]使用chatbox和open-webui同时调用ollama管理器cs模式和bs模式同时使用，调用ollama:11434端口连接被对方重设关联deepseek网站首页其他

说明

首先ollama是在容器中工作，可能会遇到问题。
由于有同事想要chatbox调用ollama，所以有此文章。
主要也是ollama在windows部署起来也是很简单的，如果内网中，多个机器部署还是有些浪费资源，故想要使用chatbox直接调用服务器上的ollama就好了。
这里的ollama是通过容器的方式部署在了GPU服务器上，Linux服务器为open-webui提供服务。最近又更新了deepseek R1模型，所以理论上是可以通过chatbox调用容器中的ollama接口进行提供服务的。
但是，事情好像没有想象的简单…
按照正常的暴露ollama的端口将11434端口暴露给主机，一直是提示“连接被对方重设”。
真是莫名奇妙，8080端口可以正常暴漏，就这个不行。但是进入容器，服务又是正常的…防火墙也关了…

invalid image(图片无法加载)
连接被对方重设

解决方案

最后经过仔细查看，怀疑应该是环境变量OLLAMA_HOST的问题，默认是OLLAMA_HOST=127.0.0.1:11434
这里可以修改11434，但是其实是127.0.0.1的问题。如果是本机运行，127.0.0.1没问题，但是如果是容器中，已经经过nat，那么127.0.0.1就无法映射出来。

故这里将OLLAMA_HOST=http://127.0.0.1:11434改为OLLAMA_HOST=http://0.0.0.0:11434即可。
这个环境变量在启动容器的命令中修改。

docker run -d -p 3000:8080 -p 4000:11434 --gpus=all -v /raid/Test/ollama:/root/.ollama -e HF_HUB_OFFLINE=1 -e OLLAMA_HOST=http://0.0.0.0:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

使用上面命令重启容器即可正常暴露11434服务了。

到这里就可以愉快使用chatbox和open-webui同时连接同一个ollama工作了。

编辑：myhappyandy
点击这里跳转