使用Ollama本地部署大模型

最新推荐文章于 2024-09-28 16:57:48 发布

OceanSec

最新推荐文章于 2024-09-28 16:57:48 发布

阅读量1.5w

点赞数 33

分类专栏： ELSE 文章标签：语言模型

本文链接： https://blog.csdn.net/q20010619/article/details/135849369

版权

ELSE 专栏收录该内容

13 篇文章 5 订阅

订阅专栏

Ollama是一个易于使用的本地大模型运行框架，支持Mac、Windows和WSL2环境。文章介绍了如何在各种系统上安装Ollama，包括命令行操作和WebUI工具OllamaWebUI，以及其对不同模型内存需求的说明和Web交互方式。

摘要由CSDN通过智能技术生成

Ollama 是一个简明易用的本地大模型运行框架，目前已经有 32 K star。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了，使用 Ollama 本地部署大模型在 mac 上尤其简单

GitHub地址：https://github.com/ollama/ollama

安装 Ollama

macOS

Download

Windows

目前还没有快速安装，后边会出 WSL2 安装版

Linux & WSL2

curl https://ollama.ai/install.sh | sh

手工安装

安装之后，使用一条命令就可以运行大模型了，比如 llama2

ollama run llama2

安装后便可以直接使用

注意: 应该至少有8 GB 的 RAM 可用于运行7B 型号，16 GB 可用于运行13B 型号，32 GB 可用于运行33B 型号

web 交互

安装好之后便可以命令行的形式使用，若是觉得命令行的形式不够易用，Ollama 有一系列的周边工具可供使用，包含了网页、桌面、终端等交互界面及诸多插件和拓展

Ollama WebUI 具有最接近 ChatGPT 的界面和最丰富的功能特性，可以 Docker 部署

安装

安装 Docker
确保已经安装了最新的 Ollama

Docker 启动

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

要自己构建容器，请遵循以下步骤

docker build -t ollama-webui .
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ollama-webui

启动之后可以访问 http://localhost:3000

选择我们之前安装的模型即可