centos 7 部署ollama 本地大模型并使用open-webui 可视化 Ollama是一个专注于本地部署和运行大型语言模型的项目，例如Llama 2和Mistral，跟ChatGPT一样，可以生成相关的对话内容。Ollama 部署非常简单，这里就不细说，登录https://ollama.com/ 点击download，根据自己系统需求选择Windows，linux，或者macOS版本。这里我们使用Linux方式部署。一键部署指令：curl https://ollama.ai/install.sh | sh脚本需要访问GitHub下载相关文件，如果网络不具备访问GitHub条件，那么需要设置代理来完成ollama的安装#192.168.5.199:18089 地址是我本机开的代理地址和端口 export http_proxy=http://192.168.5.199:18089 export https_proxy=http:/192.168.5.199:18089安装完成之后执行命令systemctl status ollama查看ollama 启动状态，Active: active (running) 为启动成功查看11434端口是否被正确监听lsof -i :11434如果显示 TCP localhost:11434 表示 11434端口只能被被本地访问，以便后续我们需要部署open-webui 访问ollama ，因此需要先把端口暴露出去vim /etc/systemd/system/ollama.service.d/override.conf #加入environment [Service] Environment="OLLAMA_HOST=0.0.0.0" #重启ollama systemctl daemon-reload systemctl restart ollama #检查是否生效 lsof -i :11434 #显示*:11434表示成功 #防火墙开放11434端 firewall-cmd --zone=public --add-port=11434/tcp --permanet firewall-cmd reload拉取llama2模型并加载ollama run llama2测试ollama使用rest-api(192.168.20.131是我部署ollama使用的服务器局域网ip地址)POST http://192.168.20.131:11434/api/generate Content-Type: application/json { "model": "llama2", "prompt": "Why is the sky blue?" }有结果表示成功接下来部署open-webui,这里使用docker。docker安装部署略github地址:https://github.com/open-webui/open-webuidocker 脚本:docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main由于ghcr.io 下载镜像非常慢，这里需要绕一下。有个play-with-dockerhttps://labs.play-with-docker.com/访问ghrc.io速度相当不错。通过dockerhub账户登录之后，创建实力。并执行部署脚本，然后打tag 推送到dockerhub。这样速度会快很多。在play-with-docker 上的实例执行上述docker部署脚本。成功之后开始打tag 并推送docker login #输入dockerhub 用户名密码登录，用于推送镜像 docker images docker tag ghcr.io/open-webui/open-webui:main 用户名/open-webui:main #推送镜像 docker push 用户名/open-webui:main之后用我们推送到dockerhub上的镜像启动web-uidocker run -d -p 3080:8080 --privileged --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always abdulla1992/open-webui:main启动成功之后注册账号并开始使用open-webui选择模型并聊天