AnythingLLM 教學

AnythingLLM 是一套由 Mintplex Labs 開發的 AI 開源平台，定位是一個整合型的桌面與伺服器端應用程式，內建 RAG、AI Agents、以及與多種 LLM 服務相容的介面。

對許多使用者而言，真正的需求不是再多一個模型，而是需要一個地方可以： 模型放哪裡、文件怎麼變成可查詢的知識庫、不同部門如何共享或隔離資料、如何在瀏覽器裡讓非工程背景的人也能用 AI 協作。AnythingLLM 同時提供桌面版與 Docker 版，前者偏向個人使用，後者則是面向「多使用者、自架私有雲」的使用情境。

Anything LLM 系統讓您連接 OpenAI、Anthropic、Gemini 等雲端服務，或是本機的 Ollama、LM Studio、LocalAI 等伺服器。資料預設儲存在您自己的平台，不會在未經允許的情況上傳到雲端。

首先從 Anything LLM 官網下載適合您作業系統的安裝程式。

執行 AnythingLLM 安裝程式。

Anything LLM 安裝完成後，執行，按下「開始使用」。

選擇您想使用的 LLM 模型，本教學使用 Show all models > Google > Gmemma3 4B

AnythingLLM 資料處理與隱私的設定，稍後可在設定中重新配置。

接著是 AnythingLLM 使用者調查，可按下「跳過調查」。

創建您的工作區，即可開始使用 AnythingLLM 。

開始使用時，您可以：

1、建立工作空間

2、發送對話 - 若 LLM 模型未完成下載，將出現 Could not respond to message... 訊息！

3、嵌入文件 - 您提供的文件將上傳到此 AnythingLLM 的文件處理器，不會發送給第三方。

開始使用，您可以發送訊息，或是上傳文件。

此時對話將出現 Could not respond to message. model is required 錯誤訊息。

[ 工作區 > 對話設定 > 工作區 LLM 提供者 ]

若您已經安裝 Ollama 或 LM Studio 等，也可以設定 LLM 提供者。

例如選擇 Ollama 後可選擇已安裝的模型。

嵌入文件 ( Embed Document )

重新建立一個工作區（若使用先前的工作區似乎有暫存的情況）。

AnythingLLM 將跳出訊息，說明什麼是文件固定？

文件嵌入後，測試看看 AnythingLLM 回答內容的正確性！

Anything LLM vs Python

以下範例將使用 Python 開發一個支援 Anything LLM 平台的迷你 AI 應用程式：

首先進入 AnythingLLM 系統設定 > 工具 > 開發者 API > 產生新的 API 金鑰。

將產生的 API 金鑰複製到剪貼簿，稍後用於 Python 程式碼。

剛建立的 API 金鑰將會顯示在畫面上。

如何查詢工作區的WORKSPACE_SLUG ? 在工作區按滑鼠右鍵，選擇 Copy Link 複製連結（只取後面的部份）。

例如 file:///C:/Users/Kelvin/AppData/Local/Programs/AnythingLLM/resources/app.asar/dist/index.html#/workspace/e0b6a295-56ee-4f33-9e70-430663194acc

那麼就是 e0b6a295-56ee-4f33-9e70-430663194acc 填入 WORKSPACE_SLUG ，此外還需要填入剛才創建的 API Key ，完成後測試，確認正常使用！

若出現 No valid api key found 錯誤，請檢查 API Key 是否正確？

若出現 XXX is not a valid workspace 錯誤，請檢查 否正確？

原始碼下載 [ AnythingLLM-Chat.py ]

20251127-v2-TKinter-Light

Copyright © 2025 CG Digital Corp. All rights reserved.