Ollama 教學

Author: Kelvin Huang

Ollama 是一個可以在本機端運行 LLM 大型語言模型的開源工具。無需連上網路，也能在電腦上使用類似 ChatGPT 的 AI 模型。

Ollama 的特色本地運行：不需依賴 OpenAI 或其他雲端服務，資料更私密、更安全。簡單安裝：通常只要一行指令就可以啟動模型。支援多種模型：包括 LLaMA、Mistral、Gemma 等。整合容易：很適合開發者用來做原型開發、嵌入自家應用程式。

在筆電上測試 AI 聊天機器人。用於不希望資料外洩的商業內部應用。練習與客製模型互動，不花費雲端費用。

支援的大型語言模型，包括

gemma3 / qwq / deepseek-r1 / mistral-small3.1 / phi4 / llama3.2 / mistral / qwen2.5 / llava / qwen / mxbai-embed-large / codellama / mistral-nemo / tinyllama

更多參考 https://ollama.com/library 網頁

OllamaSetup.exe 953MB

Ollama-darwin.zip 175MB ( Requires macOS 11 Big Sur or later )

安裝 Ollama 教學

Ollama 安裝完成。

開啟 Windows 系統的命令提示字元並輸入 ollama

開啟瀏覽器輸入以下網址，出現 Ollama is running 表示伺服器正常執行。

前往 https://ollama.com/library 可檢視 Ollama 支援的 LLM 大語言模型。

命令提示字元輸入 ollama run gemma:2b

第一次執行會自動下載模型，後續再執行將不會重複下載。

完成後，進入對話模式，與 ChatGPT 提供的文字交談類似。

輸入 /bye 離開對話

ollama run gemma:7b

ollama run llama3:8b

前往 Chrome 線上應用程式商店，搜尋 Page Assist

Page Assist - A Web UI for Local AI Models

按下加到 Chrome

點擊右上角的齒輪圖示，開啟設定，一般設定可將語言設為繁體中文。

更改主題可選擇「亮色」或「暗色」。

網頁搜尋設定可選擇搜尋引擎與網域

語音轉文字設定的語音辨識語言可選擇中文（台灣）

文字轉語音提供商可選擇 Browser TTS 或 ElevenLabs（需要輸入 API Key）

進入「模型管理」可檢視載入的模型，可設定或刪除模型。

進入「知識管理」可新增知識，例如使用 .jsonl 檔案，如果出現：請先從 RAG 設定頁面新增一個嵌入模型

請回到 RAG 設定，請選擇嵌入的模型，其餘維持預設值，按下儲存。

出現：知識新增成功，然後回到「知識管理」再試一次新增知識。

上傳圖片後，出現 It looks like you've uploaded an image! However, I'm a text-based AI and do not have the capability to view images directly. Can you please describe the image or provide more context about what it is? I'll do my best to assist you with any questions or topics related to the image.

安裝 Docker Desktop 後需要重新開機！

使用 Docker Desktop 建議的設定即可。

使用進階設定。

搜尋瀏覽器插件 Page Assist - A Web UI for Local AI Models

https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=zh-TW

CSU / 12th Gen Intel Core i7-12700 2.10 GHz / 16GB / GeForce GTX 1630