TAG

#LLM Router

1 篇文章

TechLab 所有關於「LLM Router」嘅文章、評測同教學，由最新排起。

Ramp 將內部用咗三年嘅 LLM router 開放畀外界，用一個 API 接駁多款模型，按成本、速度同表現分流請求。整合的確簡單，不過 30% 慳費數字只係官方內部結果，模型選擇、資料保存同地區限制都要睇清楚。