OpenClaw 完美結合 120B 大模型「對不起，地端 AI 我回來了！」：Agent Skill 實測，這才是完全體！

OpenClaw + GPT-OSS-120B 本地大模型終於正常使用tool or agent skill了！Ollama、vLLM、LM Studio、llama.cpp 四大引擎踩坑全紀錄 上一集分享了 OpenClaw 搭配本地模型踩坑的經驗後，收到了很多先進的寶貴建議 🙏 這次我花了四天晚上，測試了 Ollama、vLLM、LM Studio、llama.cpp 四種推理引擎，踩了無數的坑，終於找到可以正常使用 tool / agent skill的方式！ 最終成功組合：llama.cpp + GPT-OSS 120B + OpenClaw 雖然跟雲端模型還有差距，但完全在自己掌控之中 💪 📌 影片中所有指令都整理在下方，可以直接複製使用！ ━━━━━━━━━━━━━━━━━━━━━━ ⏱ 時間軸 ━━━━━━━━━━━━━━━━━━━━━━ 00:00 開場｜收到先進建議，重燃挑戰決心 00:28 這次嘗試了哪些方式 00:51 測試項目預告 01:03 ❌ Ollama：context window 設太大，CPU 跑超慢 02:24 ❌ vLLM：Docker 載入失敗，模型下載不完 03:06 ❌ LM Studio：RAM 被吃到 99%，載入卡住 03:37 ✅ llama.cpp：參數調整成功 04:34 成功！模型正常運作 04:46 OpenClaw 設定調整 05:35 Demo 展示｜規劃沖繩自由行 06:04 Telegram 重置對話設定 06:31 結語｜四種引擎踩坑總結 ━━━━━━━━━━━━━━━━━━━━━━ 🔧 完整指令（可直接複製） ━━━━━━━━━━━━━━━━━━━━━━ 【✅ 最終成功的 llama.cpp 啟動指令】 llama-server.exe -m "你的模型路徑\gpt-oss-120b-MXFP4-00001-of-00002.gguf" -ngl all -c 65536 -t 8 -np 1 --port 8080 --no-mmap -fa on ⚠️ 重點提醒： • 不要加 --chat-template 參數！讓引擎自動從 GGUF metadata 讀取 • 一定要加 --no-mmap，否則系統 RAM 會被吃滿 • -m 只需指定第一個檔案，它會自動找第二個 • -ngl all 把所有層放進 GPU • -c 65536 設定 context window 大小 • -t 8 CPU 執行緒數量 • -np 1 單一 slot，避免 context 被分給多個請求 • -fa on 啟用 flash attention 加速 ─────────────────────── 【OpenClaw 設定 llamacpp provider】 openclaw config set models.providers.llamacpp '{"baseUrl":"http://127.0.0.1:8080/v1","apiKey":"llamacpp-local","api":"openai-completions","models":[{"id":"gpt-oss-120b","name":"GPT-OSS 120B","reasoning":false,"input":["text"],"cost":{"input":0,"output":0,"cacheRead":0,"cacheWrite":0},"contextWindow":65536,"maxTokens":8192}]}' --json ─────────────────────── 【OpenClaw 設定預設模型】 openclaw config set agents.defaults.model.primary "llamacpp/gpt-oss-120b" openclaw config set agents.defaults.models '{"llamacpp/gpt-oss-120b":{}}' --json ─────────────────────── 【Telegram 重置對話】 在 Telegram 中輸入 /new 或 /reset 清除歷史對話 （直接刪除 Telegram 訊息是沒用的，OpenClaw 有自己的記憶體系統） ─────────────────────── 【Ollama 嘗試（失敗）】 ollama run gpt-oss:120b --num-gpu 99 → context window 設太大時，Ollama 會自動 offload 運算到 CPU，即使有 96GB VRAM 也一樣 → 相關 issue：https://github.com/ollama/ollama/issues/12197 ─────────────────────── 【vLLM Docker 嘗試（失敗）】 docker run --rm --runtime=nvidia --gpus all \ -e VLLM_USE_FLASHINFER_MOE_MXFP4_MXFP8=1 \ -v D:\vLLM:/app \ -p 8000:8000 \ vllm/vllm-openai:v0.12.0 \ openai/gpt-oss-120b \ --config /app/GPT-OSS_Blackwell.yaml \ --tensor-parallel-size 1 \ --max-model-len 65536 → 模型一直在下載但始終下載不完，歡迎先進指正 ━━━━━━━━━━━━━━━━━━━━━━ 💻 使用硬體 ━━━━━━━━━━━━━━━━━━━━━━ • GPU：NVIDIA RTX PRO 6000（96GB VRAM） • RAM：64GB DDR5 ━━━━━━━━━━━━━━━━━━━━━━ 📦 使用軟體與模型 ━━━━━━━━━━━━━━━━━━━━━━ • 模型：GPT-OSS 120B（MXFP4 量化，約 65GB，分兩個 GGUF 檔案） • 推理引擎：llama.cpp • AI 框架：OpenClaw • 通訊：Telegram • 對外連線：Cloudflare Tunnel ━━━━━━━━━━━━━━━━━━━━━━ 🔗 相關連結 ━━━━━━━━━━━━━━━━━━━━━━ 📥 模型下載（Hugging Face）： https://huggingface.co/lmstudio-community/gpt-oss-120b-GGUF 📥 llama.cpp 下載： https://github.com/ggerganov/llama.cpp/releases 🌐 OpenClaw 官網：https://openclaw.im 📖 OpenClaw 文件：https://openclaw.im/docs 🐛 Ollama context window issue： https://github.com/ollama/ollama/issues/12197 📺 上一集（OpenClaw 本地模型踩坑紀錄）：https://youtu.be/9k7LzyJ17yA #本地AI #LocalLLM #llamacpp #OpenClaw #GPT120B #AI助理 #RTXPRO6000 #Ollama #vLLM #LMStudio #地端大模型 #selfhosted #開源AI #GGUF #繁體中文AI ━━━━━━━━━━━━━━━━━━━━━━ 🙏 特別感謝留言區先進的建議： maxwell866、yuanfenglin、iverson5558 如果覺得影片對你有幫助，請幫我按個讚👍、訂閱頻道、開啟小鈴鐺🔔 設定過程中遇到問題歡迎留言討論！