Windows如何使用Ollama+OpenWebUI搭建本地大语言模型结合内网穿透实现远程访问智能AI聊天

411 篇文章 7 订阅
订阅专栏
348 篇文章 1 订阅
订阅专栏
4 篇文章 1 订阅
订阅专栏

前言

本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具,并安装Open WebUI结合cpolar内网穿透软件,实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境,体验专属于你自己的智能AI聊天。

近些年来随着ChatGPT的兴起,大语言模型 LLM(Large Language Model)也成为了人工智能AI领域的热门话题,很多大厂也都推出了自己的大语言模型,并或多或少的开源了自己的大语言模型,今天就来分享一个最近很火,且对于小白来说比较好上手本地部署的运行本地LLM的工具Ollama。

在本地运行大语言模型有诸多优点:

比如可以保护隐私不会产生费用可以无视网络问题可以尝鲜各种开源模型等等。

Ollama支持当前主要的开源大模型, 比如llama2、千文qwen、mistral等,可以在Windows、Linux、MacOS系统上进行部署。稳定性和便利性都非常不错,下面就来分享一下它在Windows系统上的安装与应用。

1712892863233

Windows系统电脑使用Ollama+OpenWebUI快速搭建本地大语言模型体验智能AI聊天

1. 运行Ollama

本文安装环境为:Windows10专业版

**下载:**Ollama下载地址:https://ollama.com/download

在下载页面点击Windows,然后点击下载按钮。

image-20240412112815418

**安装:**下载完成后,双击下载的安装程序。

image-20240412113651226

点击Install进行安装。

image-20240412113757729

安装完成没有提示,我们打开一个终端,本文以Windows PowerShell为例,大家也可以使用其他的:

现在Ollama已经安装完了,我们需要在终端中输入下方命令运行一个大语言模型进行测试,这里以对在中文方面表现相对好些的千问为例,大家也可以使用其他的模型。

ollama run qwen

image-20240412114551493

可以看到,系统正在下载qwen的模型(并保存在C盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启ollama服务。)

setx OLLAMA_MODELS "D:\ollama_model"

image-20240412115240118

模型下载完成后,我们就可以在终端中输入问题进行使用了:

image-20240412115431766

至此,在Windows本地部署ollama并运行qwen大语言模型就已经完成了。一键搞定,对新手体验大语言模型真的非常友好。

2. 安装Open WebUI

不过,我们现在只能在终端中使用,操作界面可能不像ChatGPT那样美观,如果能使用web页面进行交互,使用体验更好,也能保留之前的聊天记录,翻遍我们翻阅查询。

针对这个情况,我们可以在Windows上部署Open WebUI这个项目来实现类似chatgpt一样的交互界面。

本教程以Open WebUI这个项目为例,它以前的名字就叫 Formerly Ollama WebUI。可以理解为一开始就是专门适配Ollama的WebUI,它的界面也对用惯了chatgpt的小伙伴来说更相似一些。当然,大家也可以选择其他的WebUI,之后有机会也可以分享给大家。

如何在Windows系统安装Open WebUI:

2.1 在Windows系统安装Docker

首先,如果大家之前未安装过Docker,需要执行下面三个步骤进行安装:

第一步:启动Hyper-v

打开控制面板,在程序与功能页面选择启用或Windows功能

55b168adb3b2487ebef5a56f9b5bfe16.png

勾选Hyper-V、虚拟机平台、Linux子系统并点击确认

fcc551d53f2a4d8a9261519deaae49ea.png

然后,重启计算机。

第二步:安装WSL

打开 powershell,以管理员的身份启动命令窗口,输入

wsl --update

安装

wsl --install
7803831a6fef8563132920692cf5bb5

然后再次重启电脑。

第三步:访问Docker官网进行下载

点击下载链接:https://docs.docker.com/desktop/install/windows-install/

image-20240412134453950

选择Windows最新版本:

29e8d9fd062d765b10f64c27dd14097

下载完成后,双击安装程序进行安装,如果是第一次安装,安装后会提示重启电脑,重启后点击桌面的Docker Desktop图标:选择先不注册直接登录即可。

image-20240412135009554

打开Docker Desktop后,左下角显示是绿色的running就代表我们成功了:

image-20240412135830591

视频安装教程:

【Docker教程】如何在Windows系统安装Docker

2.2 使用Docker部署Open WebUI

在Open WebUI的github页面 https://github.com/open-webui/open-webui 可以看到,如果你的Ollama和Open WebUI在同一台主机,那使用下面显示的这一行命令就可以在本地快速进行部署:

image-20240412140749937

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

现在我们打开终端,比如powershell,然后输入docker,回车

image-20240412143329625

可以看到这个命令成功运行,说明docker安装成功。

然后将上边在docker中部署Open WebUI的命令复制后粘贴到终端中,回车。

image-20240412143603992

然后等待安装完毕即可:如下图所示

image-20240412144132799

安装完成后,在Docker Desktop中可以看到Open WebUI的web界面地址为:https://localhost:3000

image-20240412144401182

点击后,会在浏览器打开登录界面:

image-20240412144744192

点击sign up注册,账号,邮箱,密码记好,下次登录时需要用到邮箱和密码登录:

image-20240412144927140

然后点击create account创建账号即可:然后就能在浏览器中使用类似chatgpt界面的Open WebUI了!

image-20240412145046113

点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。

image-20240412145306289

image-20240412145337352

点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,接下来就可以愉快的跟ai聊天了!

image-20240412145604350

3. 安装内网穿透工具

至此,我们已经成功完成在本地Windows系统使用Docker部署Open WebUI与Ollama大模型工具进行交互了!但如果想实现出门在外,也能随时随地使用Ollama Open WebUI,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透并实现公网访问!

下面是安装cpolar步骤:

cpolar官网地址: https://www.cpolar.com

点击进入cpolar官网,点击免费使用注册一个账号,并下载最新版本的cpolar

img

登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到cpolar web 配置界面,结下来在web 管理界面配置即可。

img

接下来配置一下 Open WebUI 的公网地址,

登录后,点击左侧仪表盘的隧道管理——创建隧道,

创建一个 ollama1 的公网http地址隧道:

  • 隧道名称:ollama1(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择http
  • 本地地址:3000 (本地访问的地址)
  • 域名类型:免费选择随机域名
  • 地区:选择China Top

db922938915f169100c3099795edd0a

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20240412152551655

使用上面的任意一个公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到公网访问 Open WebUI 了!

image-20240412152651947

小结

如果我们需要长期异地远程访问Open WebUI,由于刚才创建的是随机的地址,24小时会发生变化。另外它的网址是由随机字符生成,不容易记忆。如果想把域名变成固定的二级子域名,并且不想每次都重新创建隧道来访问Open WebUI,我们可以选择创建一个固定的公网地址来解决这个问题。

4. 创建固定公网地址

我们接下来为其配置固定的HTTP端口地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留,保留成功后复制保留的二级子域名名称

image-20240412152906479

保留成功后复制保留成功的二级子域名的名称:myollama,大家也可以设置自己喜欢的名称。

image-20240412152954731

返回登录Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:ollama1,点击右侧的编辑:

image-20240412153114908

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:myollama

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20240412153213518

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20240412153253106

最后,我们使用固定的公网https地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地访问本地部署的 Open WebUI 了!

image-20240412153508464

以上就是如何在Windows系统本地安装Ollama大模型工具并使用docker部署Open WebUI,结合cpolar内网穿透工具实现公网访问本地LLM,并配置固定不变的二级子域名公网地址实现远程访问的全部流程,感谢您的观看,有任何问题欢迎留言交流。

ollama集成open-webui本地部署大模型应用
program哲学
04-26 2224
详细介绍如何利用ollama集成open-webui本地部署大模型应用
【人工智能时代】- Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
最新发布
xiaoli8748的专栏
09-21 917
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具,并安装Open WebUI结合cpolar内网穿透软件,实现公网环境也能访问你在本地内网搭建的大语言模型运行环境。近些年来随着ChatGPT的兴起,大语言模型 LLM(Large Language Model)也成为了人工智能AI领域的热门话题,很多大厂也都推出了自己的大语言模型,并或多或少的开源了自己的大语言模型,今天就来分享一个最近很火,且对于小白来说比较好上手本地部署的运行本地LLM的工具Ollama
本地部署大模型Ollama 部署和实战,看这篇就够了
u010522887的专栏
07-24 1万+
Ollama 也许是当前最便捷的大模型部署工具,配合Open WebUI,人人都可以拥有大模型自由。
Ollama安装优化并通过Open WebUI实现网络访问Windows/Linux)
WindowsID的博客
09-10 706
Windows安装及使用教程Ollama是一款开源且专用于在本地运行LLM(大型语言模型)的软件,支持macOS,Linux,Windows多平台。使用它可以简化大模型在本地部署的流程,即使你是个新手,在看完这篇后也能轻松上手。同时因为它是开源且本地部署,可保证数据不会泄露。在本文中,我将介绍OllamaWindows和Linux平台的安装,同时使用Open WebUI实现网络访问及文档识别,网络搜索功能。Windows安装及使用教程。
[AI]windows部署Ollama
stringjava_001的博客
04-16 2345
介绍windows环境下安装ollama并进行模型下载使用
Windows使用ollama本地大模型部署
m0_47333020的博客
05-14 1293
这里选open-webul为例,找到对应的github仓库,安装文档安装,这里选择docker安装。在ollama的github的介绍上面,有多个已经适配了ollamaweb可以选择。如果想要远程调用ollama接口,那就需要次配置,如果只是本地访问,忽略。安装完成后验证是否成功,打开命令行输入ollama,有该指令即安装成功。ps: 如果已经打开了ollama,需要重启ollama才能生效!如果是外部访问,需要配置上面的第二条环境变量。如果是本地访问,直接调用11434端口即可。然后就可以发请求玩了。
ollama+open-webui,本地部署自己的大模型
热门推荐
spiderwower的博客
05-05 2万+
Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种LLM运行器,包括 OllamaOpenAI 兼容的 API。open-webui项目地址。
Ollama + Openwebui 本地部署大型模型与交互式可视化聊天
2401_84494441的博客
07-12 3405
OpenWebUI]是一个可扩展、功能丰富且用户友好的自托管WebUI,它支持完全离线操作,并兼容OllamaOpenAI的API。这为用户提供了一个可视化的界面,使得与大型语言模型的交互更加直观和便捷。
n2nguien 内网穿透搭建虚拟局域网工具windows 客户端
04-15
n2n实现内网穿透搭建虚拟局域网 n2n 跟 Ze­rotier 相类似,然而 Ze­rotier 的设置方面更容易些,但稳定性取决于官方的服务器,由于国内的互联网环境,Ze­rotier 经常掉线。n2n 虽然设置起来麻烦一些,但稳定性...
利用阿里云搭建frp内网穿透实现外网远程桌面连接内网
ZHUQIUSHI123的博客
11-30 5906
面临的问题 实验室有电脑A,但是在实验室内网环境中,外网无法直接远程桌面访问。现在我不常去实验室,但是还需要用到实验室电脑资源。 其他解决办法 远程控制电脑的一些软件,像向日葵软件,Teamviewer等,免费的没法长时间用,一是网速慢,容易卡顿;二是网络不顺畅,经常连接不上Teamviewer,据说是实验室已经关闭了Teamviewer的端口,体验很不爽。 本文解决办法-内网穿透 可以...
快速搭建远程访问Web页面,实现ChatGPT聊天机器人
weixin_43014359的博客
08-18 2105
streamlit是比较热门的Web应用程序框架,基于Python,优势是只要几行代码就可以创建一个交互式、可视化的web仪表板。通过接入OpenAI的API,快速搭建基于ChatGPT聊天页面,实现对话的方式进行交互,将streamlit和cpolar搭配使用,就可以快速搭建一个能够远程访问ChatGPT聊天页面,下面通过windows环境简单部署一个接入OpenAI的API的聊天界面,并结合cpolar实现远程访问
无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
丨汀、的博客
08-12 1624
无缝融入,即刻智能[一]:Dify-LLM大模型平台,零编码集成嵌入第三方系统,42K+星标见证专属智能方案
ollama Windows部署
m0_57486465的博客
04-15 2741
本文介绍了如何在Windows上部署Ollama,包括下载安装、环境配置和测试步骤。通过配置环境变量和测试网络连接,可以成功搭建本地大模型服务,实现快速部署和测试模型功能。
使用 OllamaOpen WebUI 自托管 LLM 聊天机器人(无需 GPU)
lythinking的博客
06-08 1992
等,进一步支撑你的行动,以提升本文的帮助力。
Ollama:一个在本地部署、运行大型语言模型的工具
weixin_59191169的博客
05-28 3546
所谓自定义模型就是不适用Ollama官方模型库中的模型,理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手,你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统,支持各类大模型。这里使用Docker快速进行部署。拉取镜像创建挂载目录启动容器访问IP:3001初始账号用户名为 root,密码为 123456。
Windows端安装ollama运行大模型
HYP_Coder的博客
08-30 1013
Ollama 是一个工具和平台,旨在帮助用户轻松安装、配置和运行大语言模型。它提供了一种简便的方法来管理模型的下载、安装和环境配置,从而让用户能够专注于实际的应用开发和使用
Windows 电脑部署 ollama3 并安装模型
yuluo的博客
07-18 705
部署中为了尽可能减少对本地环境的污染,使用 Docker 安装!
2024 Ollama 一站式解决在Windows系统安装、使用、定制服务与实战案例
风吹落叶的博客
08-28 1457
各位未来的开发者们请上座,下面教程走完大致需要40分钟就可以让掌握大模型本地化部署与使用Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口,用于创建、运行和管理这些模型,同时还提供了一个丰富的预构建模型库,可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单,无论是对于开发者还是对于终端用户。
Win环境下Ollama+OpenWebUI本地部署llama教程
qq_42629547的博客
07-18 1367
本文将简单介绍如何在Windows环境下通过Ollama本地部署大语言模型(LLM),并通过OpenWebUI实现访问
内网穿透实现Windows远程访问另一台Windows
02-23
实现Windows远程访问另一台Windows的场景中,可以使用内网穿透实现远程桌面访问内网穿透的基本原理是通过一个中间服务器,将外部网络的请求转发到内部网络中的目标主机上。在Windows远程访问的情况下,可以...
写文章

热门文章

  • 【刷机教程】玩客云如何刷CasaOS系统打造低成本个人轻NAS? 20167
  • Windows本地部署文件同步神器SyncThing并结合内网穿透实现公网远程访问 6125
  • 群晖NAS如何搭建WebDAV服务并实现手机远程访问本地文件 5054
  • 斐讯N1盒子刷入Armbian并安装CasaOS+Cpolar内网穿透打造个人轻NAS 4857
  • 玩客云刷CasaOS系统后如何安装内网穿透实现远程访问本地文件 4206

分类专栏

  • CasaOS 3篇
  • 内网穿透 348篇
  • cpolar 411篇
  • fnOS 2篇
  • 大语言模型 4篇
  • 群晖nas 50篇
  • llama 1篇
  • 公网访问内网 143篇
  • 树莓派 45篇
  • SSH 2篇
  • MySQL 1篇
  • linux 5篇
  • 网站搭建 124篇
  • ChatTTS 1篇
  • 外网访问内网 6篇
  • 远程办公 22篇
  • OpenWrt 3篇
  • ubuntu 45篇
  • 人工智能 3篇
  • Docker 6篇
  • 玩客云 5篇
  • centos 3篇
  • Termux 1篇
  • 远程桌面控制 11篇
  • WebDAV 1篇
  • 私人云盘 3篇

最新评论

  • 群晖NAS安装内网穿透工具实现异地远程访问内网SFTP服务文件传输

    iangyu: 阅读这篇博文真是一次愉快的体验!作者的文字真是动人心弦,语言精准而生动。文章的结构紧凑,逻辑清晰,让我能够轻松地理解作者的观点。此外,作者还用了大量生动的例子和引文,为观点提供了充分的佐证和验证。

  • 群晖NAS安装内网穿透工具实现异地远程访问内网SFTP服务文件传输

    Kwan的解忧杂货铺@新空间代码工作室: 博主的文章真的太赞了!文章内容通俗易懂,大大提高了我对这个话题的理解。每次都能学到很多新知识,感谢博主的用心分享。期待更多精彩的内容!博主的干货文章一直都是我学习的首选,加油!

  • 【刷机教程】玩客云如何刷CasaOS系统打造低成本个人轻NAS?

    weixin_45663653: 大师帮帮我为啥为总提示服务器拒绝了密码?

  • 群晖Synology Drive套件安装结合cpolar内网穿透工具远程同步备份文件

    Iot-Sun: 但是公网IP不是每天会变化的嘛?这问题怎么解决呢

  • 【刷机教程】玩客云如何刷CasaOS系统打造低成本个人轻NAS?

    xiaoyaoguai001: 大大 有宝塔的烧录包吗

最新文章

  • 香橙派Orange Pi zero3刷CasaOS轻NAS系统并安装内网穿透远程访问
  • VMware安装飞牛云NAS系统fnOS并挂载小雅Alist实现异地远程观影
  • 本地搭建AI开发平台Dify并使用Ollama添加大语言模型保姆级教程
2024
10月 3篇
09月 11篇
08月 10篇
07月 11篇
06月 12篇
05月 10篇
04月 9篇
03月 12篇
02月 9篇
01月 14篇
2023年322篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

玻璃钢生产厂家玻璃钢人物雕塑规格玻璃钢雕塑代工厂珠海安徽玻璃钢雕塑价格优的玻璃钢雕塑郴州玻璃钢雕塑厂家哪家好走廊商场美陈生产厂家青山区商场美陈布展信息推荐甘肃玻璃钢抽象艺术雕塑摆件玻璃钢雕塑摆件好评语榆树玻璃钢雕塑工程电话多少商场日本美陈水景玻璃钢人物雕塑厂小熊猫玻璃钢卡通雕塑厂家广东玻璃钢雕塑小品制作福建商业商场美陈费用广西玻璃钢雕塑厂家价格广东圣诞玻璃钢雕塑价格莱芜市玻璃钢雕塑定制开业商场美陈市场价广州佛像玻璃钢雕塑多少钱河北景观玻璃钢雕塑定做价格户外玻璃钢白鹿雕塑公仔玻璃钢雕塑直销价格铜陵户外玻璃钢雕塑定做价格玻璃钢切面几何镜面鹿雕塑长春玻璃钢鹿雕塑江西户外玻璃钢花箱花盆会昌玻璃钢花盆花器焦作仿铜玻璃钢雕塑生产厂家北京中庭商场美陈价钱香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化