Tag
#AI
共 1 篇文章。
博客在本地部署小型LLM模型及对公网开放
需要ubuntu呦~
本文介绍作者在 Ubuntu 系统，使用 RTX2060 Super 8G 显卡，借助 Ollama 部署 Qwen2.5:7b-instruct 小型大模型的完整流程。包含 NVIDIA 驱动安装、防止驱动版本错配、Ollama 部署，搭配 AxonHub 与 1Panel 做公网鉴权，通过 FRP 内网穿透、CDN 暴露公网，生成 API 密钥对外提供本地模型服务。
博客博客博客博客Tag
共 1 篇文章。
博客需要ubuntu呦~
本文介绍作者在 Ubuntu 系统，使用 RTX2060 Super 8G 显卡，借助 Ollama 部署 Qwen2.5:7b-instruct 小型大模型的完整流程。包含 NVIDIA 驱动安装、防止驱动版本错配、Ollama 部署，搭配 AxonHub 与 1Panel 做公网鉴权，通过 FRP 内网穿透、CDN 暴露公网，生成 API 密钥对外提供本地模型服务。