2025年1月2日

openWebUI 建置

檢查 python 版本

python --version

驗證ollama

可開啟瀏覽器輸入 http://127.0.0.1:11434 來確認ollama server是否正常運作。

查看容器

docker container ls -a

有了 CONTAINER ID 要移除的 Container,就可以使用 docker container rm 移除方法如:

docker container rm xxxxxx-id

查 docker images 

docker images -a

移除 docker images

docker image rm xxxxx-image-ID

ollama 官方docker指令是:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

To run Open WebUI with Nvidia GPU support, use this command:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

==問題來了!==

open-webui正常可以访问,但是无法找ollama的的model也无法下载模型

差別在 -p 3000:8080   ,要在local可訪問,用以下指令啟動 (see https://www.cnblogs.com/qumogu/p/18235298):

解决办法

1. open-webui使用主机网络,即下指令 (有試成功)

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2. 修改启动配置 (待試)

默认ollama绑定在127.0.0.1的11434端口,修改/etc/systemd/system/ollama.service,在[Service]下「再」添加一行如下内容,使ollama绑定到0.0.0.0的11434端口

Environment="OLLAMA_HOST=0.0.0.0"