【实用Docker项目】使用 ollama 部署本地语言模型
本文最后更新于 2024-05-14,
若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益, 请联系我 删除。
本站只有Telegram群组为唯一交流群组, 点击加入
文章内容有误?申请成为本站文章修订者或作者? 向站长提出申请
什么是 ollama?
运行 Llama 3、 Phi 3、 Mistral、 Gemma和其他模型。定制并创建您自己的模型。
为什么选择 ollama?
- 能直接运行大模型,与大模型进行对话。
- ollama 命令具有管理大模型的能力。
- 利用 cpu 运行大模型。
- 本地大模型安全可靠。
- 终端直接开始聊天。
- 社区提供了支持 web api 方式访问 WebUI。
如果你还没有尝试过在本地部署过大模型,那么 ollama 非常适合你。建议搭配WebUI一起使用
准备工作
- docker 为了方便部署软件。
- 存储空间充足的机器,一般来说参数越大,需要配置越好。
- 良好的网络环境。
安装Docker🐳
安装 ollama
进入 ollama 下载页面,选择自己的系统版本的下载并安装即可。
检验是否安装成功
输入 Ollama 命令,正常的得出命令行输出,表示已经安装成功,下面有 ollama 的常用命令:
ollama
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
ollama 模型库
我们可以在 https://ollama.com/library 中搜索已有我们想要的模型库。以下是一些流行的模型:
模型 | 参数 | 尺寸 | 执行下载 |
---|---|---|---|
Llama 2 | 7B | 3.8GB | ollama run llama2 |
Mistral | 7B | 4.1GB | ollama run mistral |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
这里大概列出了 Llama
、Mistral
以及 Gemma
我们景见的模型以及参数以及尺寸大小。由图表可以看出 Gemma 2B 模型的尺寸还是比较小的,初学者入门。
运行模型
ollama run qwen # 运行千问大模型
因为qwen 模型对中文支持比较好,这里使用 qwen 模型进行聊天
直接使用 run 命令 + 模型名字就可以运行模型。如果之前没有下载过,那么会自动下载。下载完毕之后可以在终端中直接进行对话 qwen 模型了。
直接在终端中对话:用 ollama 千问模型写一个 React 组件
使用 api 方式运行
curl http://localhost:11434/api/chat -d '{
"model": "qwen",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
api 访问的方式:模型在不断推送字段。我们需要自己处理。
推荐 Open WebUI
LLMs用户友好的WebUI(以前的Ollama WebUI)
相关安装文章 https://poiblog.com/archives/c0CaQGFx
使用 docker 可以方便的部署
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data
注意 3000
时长被其他的开发程序占用,使用需要注意自己的端口是否被占用。
注册
Open WebUI 聊天界面
反向代理
参考教程: 安装及使用
⚠️Nginx Proxy Manager(以下简称NPM)会用到80、443端口,所以本机不能占用(比如原来就有Nginx)
互联网使用请确保完成了域名解析
玻璃钢生产厂家河北大型商场创意商业美陈高淳商场主题美陈山东常用商场美陈制造潍坊动物玻璃钢雕塑玻璃钢佛像雕塑专业山东佛像玻璃钢雕塑老蒋玻璃钢花盆模具扭转乾坤玻璃钢雕塑南陵玻璃钢造型雕塑巴彦淖尔动物玻璃钢雕塑平凉城市玻璃钢雕塑定制玻璃钢名人雕塑兰州景区玻璃钢雕塑公司艺术玻璃钢雕塑生产厂家商场卡通ip美陈丽江玻璃钢雕塑设计呼和浩特商场美陈雕塑制作大红色玻璃钢人物雕塑湖州玻璃钢雕塑制作青海人物玻璃钢雕塑厂家南京商场春季美陈商场沙发美陈无锡镜面玻璃钢雕塑哪家好云南玻璃钢卡通雕塑肖恩羊园林玻璃钢卡通雕塑销售厂玻璃钢卡通大象雕塑河北玻璃钢仿铜雕塑厂家宝山区专业玻璃钢雕塑推荐党建文化玻璃钢卡通雕塑出厂价格呈贡定做玻璃钢雕塑厂家哪家好香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万