用本機 LLM 執 X 時間線:X Recommender Plus 私隱同速度仲有幾關要過
3C 產品

用本機 LLM 執 X 時間線:X Recommender Plus 私隱同速度仲有幾關要過

圖片:via XDA Developers — https://www.xda-developers.com/open-source-extension-lets-you-rewrite-your-x-algorithm-using-local-llm/
TechLab 編輯部(譯)·

XDA 試嘅其實係 Bouncer,兩款工具唔可以當成同一件事

先拆開兩件事。XDA 呢篇文章實際試咗一星期嘅工具叫 Bouncer,作者話佢識按語意過濾 AI 垃圾內容、情緒煽動同指定題材。X Recommender Plus 係另一款 extension,做法係逐篇貼文打 0 至 100 分,再按門檻淡化或者收起內容。兩款外觀同目的相近,但開發者、模型接法、用家規模同資料路徑都唔同,XDA 作者嗰句「時間線好返」自然唔可以搬過嚟做成 X Recommender Plus 嘅效果證明。

佢實際改咗你見到嘅內容

X Recommender Plus 會抽出 X 貼文文字,交畀指定模型按自訂 prompt 評分;低分內容可以變淡,亦可以完全收起。商店頁列出翻譯、白名單、帳戶聲譽分數同側欄解釋,現時亦支援圖片及影片封面分析。呢套玩法靈活過 X 原生靜音字詞,因為模型可以將「無腦吹捧某隻股票」同「分析市場點解追捧佢」分開。不過語意分類始終會誤判,尤其短句、反諷、廣東話夾英文同只有圖片嘅貼文,全部都係細模型容易失手嘅位。

X Recommender Plus 喺 X 貼文旁邊顯示 AI 評分嘅介面截圖

圖片:Chrome Web Store/X Recommender Plus

Ollama、LM Studio 接得到,速度就睇部機

Extension 預設識連去 Ollama 嘅 localhost:11434,亦識用 LM Studio 嘅 OpenAI-compatible endpoint localhost:1234/v1。即係貼文可以喺瀏覽器同本機模型之間處理,毋須交去雲端模型。不過每篇貼文都要等一次推理,模型太大或者純 CPU 跑,滾動時間線時就可能出現評分追唔上畫面嘅情況。LM Studio 官方建議至少 16GB RAM,Windows 機亦建議有 4GB 獨立 VRAM;呢個只係軟件起步線,唔代表任何模型都跑得順。暫時亦未見開發者公開同一批貼文、同一模型下嘅延遲數據。

Bouncer 官方產品頁示範用自然語句設定 X 內容過濾條件

圖片:Imbue

廣東話 prompt 要獨立驗收

Extension 內置評分準則得英文同簡體中文版本,要求模型將八卦、炒作、賣課同自我吹噓判低分,再只回傳一個數字。用家可以換成廣東話 prompt,但「收起抽水、引戰同冇來源嘅投資貼文,保留有原始連結同數據嗰啲」呢類規則,細模型識唔識穩定理解,商店頁冇提供測試。要驗得準,可以準備一批廣東話、英文同中英夾雜貼文,由人先定好邊啲要留、邊啲要收起,再比較唔同模型嘅誤殺率、漏網率同每篇等候時間。只睇幾張成功截圖,證明唔到日常使用夠穩。

「本機」兩個字未包晒私隱風險

現時 Chrome 套件要求 storage、側欄權限,同埋對整個 x.comtwitter.com、微博及相關圖片網域嘅存取權。呢個範圍容許 content script 讀取同改動相符頁面,先做到抽貼文、加分數同收起內容。揀 Ollama 或 LM Studio 時,貼文請求可以留喺本機;一轉用 OpenAI-compatible 雲端 endpoint,貼文內容就會送去用家填入嘅第三方服務。Ollama 仲要額外放行 extension origin,貪方便開成 chrome-extension://* 會令所有 Chrome extensions 都可以接觸本機 Ollama,最好只放行指定 extension ID。

設定點樣儲存,其實更值得留意。X Recommender Plus 私隱政策話 API 設定可用 Chrome Sync 跨裝置同步,又聲稱 API credentials 以加密格式保存;如果 API key 寫入 Chrome Sync,就唔應視為已加密保存。Chrome 官方文件清楚提醒,local 同 sync storage 冇加密,唔應用嚟放機密資料。所以就算模型喺本機跑,都唔等於所有敏感設定只留喺部機。用 Ollama 或冇價值嘅本機 token 風險低啲;雲端 API key 就應避免長期擺入去,等開發者交代或者改用較安全嘅儲存方法先算。

十個用家,暫時適合當實驗品

Chrome Web Store 顯示 X Recommender Plus 現時版本係 2.6.0,只有約 10 名用家同 1 個評分。更新紀錄亦多次修正貼文擷取、滾動跳動、LM Studio 相容性同 X 頁面切換問題,反映呢類工具好依賴網站 DOM;X 一改版,分數徽章、內容抽取或者收起功能都有機會失靈。開發者有私隱政策,但商店頁未提供公開原始碼連結,透明度亦低過 XDA 真正介紹、已有公開 GitHub repository 嘅 Bouncer。

平時用 X 追新聞、投資同科技資訊嘅人,可以先開淡化模式,再把可信帳戶加落白名單,避免模型靜靜收起關鍵消息。X Recommender Plus 個概念值得試,但現階段較似一個快速迭代中嘅個人工具。要判斷佢可唔可以長開,下一步要睇固定貼文樣本嘅廣東話準確率、每篇延遲、離線時嘅網絡紀錄,同 X 改版後仲有冇正常運作。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook