Ollama+OpenWebUI+Phi3本地大模型入门

完全不懂大模型的请绕道,相信我李一舟的课程比较适合

Ollama提供大模型运行环境,OpenWebUI提供UI,Phi3就是那个大模型。
当然,Ollama支持超级多开源大模型比如 llama3,如果GPU够用的话。

一、基础环境

Win10 8GB内存 普通办公机器 无GPU全靠CPU撑着
Python3.11 OpenWebUI用的

二、Ollama

官网:https://ollama.com/
在这里插入图片描述
两句话搞定:
启动并运行大型语言模型。
运行 Llama 3、Phi 3、Mistral、Gemma 和其他模型。
下载:https://ollama.com/download
在这里插入图片描述
下载安装,一切都那么自然。

更多资料:ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

三、OpenWebUI + Phi3

直接pip安装简单粗暴 参考
在这里插入图片描述
两行代码搞定,

pip install open-webui
open-webui serve

打开WebUI http://0.0.0.0:8080/
配置ollama
在这里插入图片描述
加载phi3,或者你想要的其他模型
在这里插入图片描述
看看效果:
在这里插入图片描述
有点傻哈,太小的模型真的只能玩玩,下次换台机器llama3

更多资料:open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

Logo

更多推荐