TAG
#Local LLM
2 篇文章
TechLab 所有關於「Local LLM」嘅文章、評測同教學，由最新排起。
3C 產品自架 AI 由玩模型去到真係幫手做嘢，第一步係清走模型焦慮
用 Ollama 自架 LLM，好多人一開始會狂試 Llama、Mistral、Qwen、Gemma。問題係模型越多未必越好用；真正有用嘅做法，係先決定摘要、文件搜尋、程式碼呢幾類任務點分工。
1 個月前
3C 產品AMD Lemonade 支援 Nvidia 後，本機 AI setup 可以少啲綁 GPU
XDA 作者話，AMD Lemonade 加咗 Nvidia CUDA 支援後，佢終於可以喺 Radeon、RTX、DGX Spark 同 mini PC 上用同一套本機 AI server。官方文件確認 text generation 走 llama.cpp CUDA 支援 Turing 或更新 Nvidia GPU；實際賣點係少啲俾單一 GPU 生態綁住，最高跑分就留返畀專用 stack。
2 個月前