Ollama 教學

Author: Kelvin Huang

Ollama 是一個可以在本機端運行 LLM 大型語言模型的開源工具。使用者無需連上網路，也能在電腦上使用類似 ChatGPT 的 AI 模型。由於 Ollama 在本地運行，資料更私密安全。安裝簡單，通常只要一行指令就可以啟動模型。

整合容易，適合開發者用來做原型開發、嵌入自家應用程式。用於不希望資料外洩的商業內部應用，不花費雲端費用。

更多參考 https://ollama.com/library 網頁

您可以先從 Ollama 官方網站下載適當的版本，目前支援 macOS, Linux, Windows 作業系統。

OllamaSetup.exe / Ollama-darwin.zip 175MB ( 需要 macOS 11 以上版本 )

Ollama 安裝

Ollama 安裝完成。

開啟 Windows 系統的命令提示字元並輸入 ollama

開啟瀏覽器輸入 127.0.0.1:11434 將出現 Ollama is running 訊息，表示 Ollama 伺服器正常執行。

前往 https://ollama.com/library 可檢視 Ollama 支援的 LLM 大語言模型，下表列出部份模型：

模型	開發者	參數	大小	輸入	指令
gpt-oss	OpenAI	20B / 120B	14GB / 65GB	Text	ollama run gpt-oss
Lllama 2	Meta	7B / 13B / 70B	3.8GB / 7.4GB / 39GB	Text	ollama run llama2
Llama 3	Meta	8B / 70B	4.7GB / 40GB	Text	ollama run llama3
Llama 3.1	Meta	8B / 70B / 405B	4.9GB / 43GB / 243GB	Text	ollama run llama3.2
Llama 3.2	Meta	1B / 3B	1.3GB / 2.0GB	Text	ollama run llama3.3
Llama 3.3	Meta	70B	43GB	Text	ollama run llama3.3
Llama 4	Meta	16x17B / 128x17B	67GB / 245GB	Text, Image	ollama run llama4
Phi-3	Microsoft	3.8B 14B	2.2GB / 7.9GB	Text	ollama run phi3
Phi-4	Microsoft	14B	9.1GB	Text	ollama run phi4
Gemma	Google	2B / 7B	1.7GB / 5.0GB	Text	ollama run gemma
Gemma 2	Google	2B / 9B / 27B	1.6GB / 5.4GB / 16GB	Text	ollama run gemma2
Gemma 3	Google	1B / 4B / 12B / 27B	815MB / 3.3GB / 8.1GB / 17GB	Text, Image	ollama run gemma3
Mistral	Mistral AI	7B	4.4GB	Text	ollama run mistral

選擇困難嗎？參考這篇文章 - 電腦可否流暢運行 AI 模型？LLM Speed Check 網站助你估算

命令提示字元輸入 ollama run gemma:2b

第一次執行會自動下載模型，後續再執行將不會重複下載。

完成後，進入對話模式，與 ChatGPT 提供的文字交談類似。

輸入 /bye 離開對話

ollama run gemma:7b

ollama run llama3:8b

前往 Chrome 線上應用程式商店，搜尋 Page Assist 找到 Page Assist - A Web UI for Local AI Models 按下加到 Chrome

點擊右上角的齒輪圖示，開啟設定，一般設定可將語言設為繁體中文。

更改主題可選擇「亮色」或「暗色」。

網頁搜尋設定可選擇搜尋引擎與網域

語音轉文字設定的語音辨識語言可選擇中文（台灣）

文字轉語音提供商可選擇 Browser TTS 或 ElevenLabs（需要輸入 API Key）

進入「模型管理」可檢視載入的模型，可設定或刪除模型。

進入「知識管理」可新增知識，例如使用 .jsonl 檔案，如果出現：請先從 RAG 設定頁面新增一個嵌入模型

請回到 RAG 設定，請選擇嵌入的模型，其餘維持預設值，按下儲存。

出現：知識新增成功，然後回到「知識管理」再試一次新增知識。

上傳圖片後，出現 It looks like you've uploaded an image! However, I'm a text-based AI and do not have the capability to view images directly. Can you please describe the image or provide more context about what it is? I'll do my best to assist you with any questions or topics related to the image.

安裝 Docker Desktop 後需要重新開機！

使用 Docker Desktop 建議的設定即可。

使用進階設定。

搜尋瀏覽器插件 Page Assist - A Web UI for Local AI Models

https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=zh-TW