Windows 本機 AI 完整教學：用 Ollama、Docker 與 Open WebUI 建立私人聊天助手

想在自己的 Windows 電腦運行 AI，最清楚的分工是：Ollama 負責下載及執行模型，Open WebUI 提供類似一般聊天產品的瀏覽器介面，Docker Desktop 則把 Open WebUI 和它的依賴封裝成可重建的 container。完成後，日常入口是 http://localhost:3000；模型 API 則由 Ollama 在 http://localhost:11434 提供。

先釐清「本機」：本文會把聊天介面限制在同一部電腦，並預設連接本機 Ollama。但本機安裝不等於所有功能自動離線。下載模型、更新、讀取網址、web search、外部 embedding、雲端模型、OAuth 和第三方 tools 都可能連接外部服務。若你要處理受限制資料，要逐項確認實際 provider 和網絡流向。

一、影片流程哪些仍適用，哪些需要更新？

影片示範下載 Ollama、在 CMD 輸入 ollama run llama3、再以 ollama run qwen2 換模型，最後用 Docker 啟動 Open WebUI。整體架構仍然成立，但型號、tags、下載頁、Docker Desktop 安裝方式和 Open WebUI 安全設定會持續改變。

二、安裝前先做硬件、記憶體和儲存規劃

Ollama 官方 Windows 文件列明，Windows 10 要使用 22H2 或更新版本；NVIDIA、AMD GPU 亦要符合目前 driver 要求。Ollama 程式本身至少需要數 GB 空間，模型則可以由數百 MB 到數十甚至數百 GB。Docker Desktop 的 Windows／WSL 2 安裝也有自己的 Windows build、WSL、虛擬化和記憶體要求，應在下載前逐項核對。

不要用「參數量」單獨估算能否運行

• 下載大小：official tags 頁列出的檔案大小，是最直接的磁碟預算起點。
• 執行記憶體：模型權重、KV cache、context length、量化、同時請求和 runtime 都會額外使用 RAM／VRAM。
• Context：較長 context 可容納更多對話或文件，但會增加記憶體；不要一開始就拉到模型最大值。
• CPU／GPU：沒有 GPU 仍可試小模型，但速度和可用 context 可能顯著下降。
• Open WebUI：Docker image、資料庫、上載檔案、向量資料、embedding model 和備份都要另外留空間。

這些數字只反映官方 tags 頁的下載檔案，不是保證運行所需記憶體或速度。最穩妥方法是先選一個小 tag、保留系統空間，運行後以 ollama ps 檢查 CPU／GPU split 和 context，再逐級上調。

三、在 Windows 安裝 Ollama

1. 只由 Ollama 官方下載頁取得 Windows installer。
2. 核對網址和檔名，不使用短連結、網盤重包或第三方「一鍵安裝器」。
3. 執行 installer。官方目前說明，標準 Windows 安裝預設放在使用者目錄，通常不需 Administrator。
4. 啟動 Ollama；它會在背景運行，並把 ollama CLI 加入使用者 PATH。
5. 開一個新的 PowerShell 或 Windows Terminal，再執行 ollama --help。舊視窗未必讀到更新後的 PATH。
6. 確認本機 API：Ollama 預設在 http://localhost:11434 提供服務。

模型不要放滿系統碟

Windows 預設模型目錄是 C:\Users\你的帳戶\.ollama\models。若系統碟空間不足，可先在使用者環境變數建立 OLLAMA_MODELS，指定另一個有足夠空間的本機磁碟；儲存後退出 Ollama tray app、重新啟動 Ollama，再開新終端機驗證。不要在模型已下載一半時隨意搬目錄。

四、選模型：先選用途，再選明確 tag

到 Ollama Model Library搜尋模型，點進 Tags，記下完整名稱、下載大小、輸入類型、context 和更新日期。model 與 model:tag 不一定長期指向同一個構建；教學、團隊和可重現工作應保存完整 tag。

選擇次序

1. 輸入：只要文字，還是需要圖片？
2. 語言：用三至五個繁體中文、英文和香港用語提示做實測，不靠宣傳字句。
3. 大小：先選能舒適放入資源預算的版本，不要一開始下載最大 tag。
4. Context：確認模型上限，再由較小實際值開始；長文件不代表一定要一次塞完整內容。
5. License：商業、教育或客戶工作前閱讀模型頁連結的 license。
6. 版本：記錄 tag、下載日期和用途；更新後重新跑同一組驗收提示。

五、下載、運行和驗證第一個模型

ollama run 在模型不存在時會自動下載，但把 pull 和 run 分開較容易看清網絡傳輸、磁碟使用和錯誤。以下以較小的 llama3.2:3b 作語法示例；請按你的硬件和官方 tags 頁調整：

# 查看已下載模型
ollama ls

# 明確下載指定 tag
ollama pull llama3.2:3b

# 開始互動對話
ollama run llama3.2:3b

# 在另一個終端機查看實際載入、CPU／GPU 和 context
ollama ps

# 不再使用時釋放模型
ollama stop llama3.2:3b

第一輪不要測「好不好用」，先測環境是否正確

請只回答以下三行，不要加入其他內容：
1. 你收到的語言：繁體中文
2. 7 × 8 的答案：
3. 用一句香港繁體中文解釋「本機模型」：

確認能回覆後，再測三項：重開終端機後模型仍可運行、斷開瀏覽器不會刪除模型、ollama ps 顯示的 processor 和 context 符合預期。若輸出慢，不要立即把 context 增大；先關閉其他重型程式、試較小 tag，並查看 Ollama logs。

六、Context、模型切換與磁碟清理

Ollama 會按硬件設定預設 context；Open WebUI 的 per-model／per-chat num_ctx 又可以覆蓋伺服器預設。Context 太小會截斷長對話、文件和 tool schema；太大則增加 RAM／VRAM。先用預設完成基本測試，再逐步調整並用 ollama ps 確認。

# 下載另一個明確 tag 作比較
ollama pull qwen3:4b
ollama run qwen3:4b

# 列出本機模型和目前正在運行的模型
ollama ls
ollama ps

# 停止及移除不再需要的 tag
ollama stop qwen3:4b
ollama rm qwen3:4b

比較兩個模型時，固定同一組提示、context、temperature 和輸出格式，記錄回應速度、中文準確度、幻覺、格式遵從和實際資源。模型名稱較新或參數較大，不代表一定更適合你的電腦和任務。

七、安裝 Docker Desktop：只使用 Linux containers 與 WSL 2

Open WebUI 官方建議大部分使用者使用 Docker。先閱讀 Docker Desktop Windows 安裝文件，核對受支援 Windows build、WSL 2.1.5 或更新版本、硬件虛擬化和記憶體。一般個人用戶選 WSL 2／Linux containers，不需要為這個教學啟用 Windows containers。

1. 下載對應 x86_64 或 Arm 安裝包。
2. 在可用時選 per-user／WSL 2 安裝，避免不必要的 privileged service。
3. 完成 WSL 和虛擬化設定；按安裝器要求重新啟動。
4. 開 Docker Desktop，接受條款前先確認個人、教育、開源、公司或政府用途的訂閱資格。
5. 等待 Docker Engine 顯示 running，再在 PowerShell 執行 docker version 和 docker info。

八、以 localhost-only 方式啟動 Open WebUI

Open WebUI Quick Start 的基本 command 會把 host port 3000 映射到 container port 8080。Docker 官方提醒，若省略 host IP，published port 預設可能在主機所有網絡介面可用。因此，個人本機安裝應明確綁定 127.0.0.1。

1. 準備不進 Git 的環境變數檔

在只供自己讀取的本機資料夾建立 .env.openwebui。用密碼管理器產生長而隨機的 secret，不要直接複製下列 placeholder，也不要把檔案 commit 或傳給他人：

OLLAMA_BASE_URL=http://host.docker.internal:11434
WEBUI_SECRET_KEY=在這裏貼上一個長而隨機並永久保存的secret

host.docker.internal 是 Docker container 存取 Windows host 上 Ollama 的地址。固定 WEBUI_SECRET_KEY 可避免每次重建 container 都產生新 signing key 而令現有 sessions 失效。

2. 拉取固定版本並啟動

以下使用官方文件在本文更新時列出的 v0.10.1 作 pinned 示例；執行前應閱讀 Open WebUI release notes，選擇你已審閱的穩定版本：

docker pull ghcr.io/open-webui/open-webui:v0.10.1

docker run -d --name open-webui --restart unless-stopped -p 127.0.0.1:3000:8080 --env-file .env.openwebui -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:v0.10.1

九、第一次開啟、建立管理員並連接 Ollama

1. 執行 docker ps，確認 open-webui 為 Up／Running。
2. 只在同一部電腦打開 http://localhost:3000；不要把網址中的 localhost 換成公開 IP。
3. 第一個建立的 Open WebUI 帳戶會成為管理員。使用獨立強密碼，不與 Windows、電郵或其他網站共用。
4. 確認新註冊沒有向公眾開放；不要為了方便把 WEBUI_AUTH=False 加入 container。
5. 進入 Admin Settings → Connections → Ollama。Docker Desktop 上 host Ollama URL 應是 http://host.docker.internal:11434。
6. 模型選單應顯示 ollama ls 已下載的 tags。選一個小模型發出測試提示。

模型列表空白時依次檢查

# Windows host：確認模型與 Ollama 服務
ollama ls
ollama run llama3.2:3b

# Docker：確認 container 和最近 logs
docker ps
docker logs --tail 100 open-webui

如果終端機可以運行模型，但 Open WebUI 看不到，最常見是 container 仍指向 localhost:11434。Container 的 localhost 是 container 自己，不是 Windows host；改用 host.docker.internal:11434。不要以關閉 firewall、把 Ollama 綁到全網絡或公開 11434 作第一個修復方法，因為 Ollama 本機 API 預設不要求 authentication。

十、語言、system prompt 和 context 設定

Open WebUI 可在設定中改介面語言，亦可為 model preset 或 chat 設 system prompt。System prompt 是行為提示，不是安全邊界；使用者輸入、文件內容和 tools 仍可能令模型偏離要求。

你是一個香港繁體中文助手。
預設使用香港常用繁體中文和清楚小標題。
不確定時明確寫出假設，不虛構來源。
涉及檔案、網頁或工具時，先說明會使用甚麼資料和是否會離開本機。
不要顯示密碼、token、個人資料或完整內部文件。

Context 不應盲目設到最大。Open WebUI 的 num_ctx 若被設定，會覆蓋 Ollama server 的 OLLAMA_CONTEXT_LENGTH。由模型和硬件可承受的值開始，以長對話、文件和 tools 測試；若出現 OOM、極慢或大量 CPU offload，降低 context 或換小模型。

十一、上載文件和 # 檢索：先看資料流，不要只看按鈕

Open WebUI 可以在對話加入檔案、建立 Knowledge Base，或以 # 引用 knowledge；目前 RAG 文件亦說明可用 # 加 URL，把網頁內容載入對話。這些功能並不自動等於「完全本機」。

文件使用前檢查

1. 刪除姓名、電郵、身份證、客戶編號、密碼、API key 和不必要段落。
2. 在 Admin Settings 確認 extraction engine、embedding engine、vector database 和模型 endpoint。
3. 用一份無敏感資料的短文件測試抽取結果；掃描 PDF 或複雜表格可能讀錯。
4. 確認 Focused Retrieval 或 Full Context。Full Context 會把更多原文放入 prompt，亦更容易撞 context 上限。
5. 查詢後核對引用段落和原文件，不因為回應用了 RAG 就當作正確。
6. 在 Data Controls／File Manager 刪除不用檔案，並了解備份仍可能保存舊副本。

Offline mode 不是一個開關便完成：Open WebUI 官方說明需要 OFFLINE_MODE=true、HF_HUB_OFFLINE=1 等設定，並要在斷網前準備 model、embedding、reranker、Whisper 等依賴。啟用 external API、web search 或 OAuth 時，系統仍然不是 air-gapped。

十二、資料持久化、備份和更新

Docker container 應視為可替換；真正要保存的是 open-webui volume 和固定的 WEBUI_SECRET_KEY。Open WebUI 官方更新文件指出，volume 內包含 database、chats、users、settings、uploads 和 generated content。更新前先備份，閱讀 release notes，再重建 container。

# 確認 volume 和 container 狀態
docker volume inspect open-webui
docker ps --filter name=open-webui

# 查看目前 logs
docker logs --tail 100 open-webui

# 更新前停止並移除舊 container；volume 不會因這一步自動刪除
docker rm -f open-webui

# 拉取你已審閱的新固定版本
docker pull ghcr.io/open-webui/open-webui:NEW_VERSION

# 使用同一個 .env.openwebui、同一 WEBUI_SECRET_KEY、同一 volume 重建
docker run -d --name open-webui --restart unless-stopped -p 127.0.0.1:3000:8080 --env-file .env.openwebui -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:NEW_VERSION

更新後驗收

• docker ps 顯示 running，logs 沒有 migration／connection error。
• http://localhost:3000 可登入；舊 chats、settings、files 和 users 仍在。
• Ollama connection 仍指向 host.docker.internal，模型列表和一個測試對話正常。
• 瀏覽器畫面異常時先 hard refresh，不要立即刪 volume。
• 確認 port 仍只綁 127.0.0.1，沒有因重建遺漏 host IP。
• 若是 shared／重要環境，先在備份或 staging 測 release 和 database migration。

十三、完整安全設定：不要直接公開 port 3000

Docker 官方指出，-p 3000:8080 這類 mapping 預設可令 port 對 host 以外的網絡開放；而 Ollama local API 本身不要求 authentication。因此本文只示範 loopback。若日後需要手機、團隊或外出連線，應另做正式威脅模型。

本機個人使用的最低安全線

• Port 維持 127.0.0.1:3000:8080，Ollama 維持 localhost，不做 router port forwarding。
• 保留 Open WebUI authentication；第一個 admin 使用獨立強密碼，不啟用無登入 single-user mode。
• Docker image 固定 release tag，定期閱讀 Open WebUI、Docker 和 Ollama security／release notes。
• 不要把 Docker socket、整個 C: 磁碟、home directory 或機密資料夾 mount 入 container。
• 限制上載檔案大小、數量和副檔名，避免把 Open WebUI 當無限制檔案庫。
• 不用的 providers、tools、web search、signup 和 API keys 全部停用。
• 定期備份；備份本身包含敏感 chats 和 files，要加密、限制存取及設保留期。

遠端或多用戶環境至少需要 HTTPS、受管理 reverse proxy／VPN、可靠身份 provider、signup policy、RBAC、session 和 secret rotation、日志、備份、修補程序及網絡限制。不要把「有登入畫面」當成可以公開到互聯網的充分條件。

十四、常見故障排查

十五、完成前驗收清單

1. Ollama 和 Docker 都來自官方網站，版本和下載日期已記錄。
2. 模型使用明確 tag；你知道檔案大小、license、輸入類型和用途。
3. ollama run、ollama ls、ollama ps 和 ollama stop 都已實測。
4. Open WebUI container 使用固定 image tag、persistent volume 和固定 secret。
5. Docker port 顯示為 127.0.0.1:3000->8080，而不是 0.0.0.0:3000。
6. 第一個 admin 帳戶使用獨立強密碼，沒有開放匿名登入或公眾 signup。
7. Open WebUI 只連接你批准的 Ollama／providers，模型列表和測試對話正常。
8. 你能說明普通聊天、files、embeddings、#URL、web search 和 tools 各自會否離開本機。
9. 已用無敏感資料文件測試抽取和引用，並知道如何刪除 files。
10. Open WebUI volume、secret 和備份位置已有記錄；更新與還原流程已保存。

這套架構的真正優點，不是把「本機」當作一句宣傳，而是把每一層都變得可檢查：Ollama 負責哪個 model tag、模型佔用多少資源、Open WebUI 連到哪個 endpoint、Docker 開了哪個 port、資料保存在甚麼 volume，以及哪些功能會連接外部。先以小模型和 localhost 完成閉環，再按需要增加 context、文件、tools 或遠端存取，會比一次開盡所有功能安全得多，也更容易排錯和復原。