引用:
|
作者substar999
依照What Do You See的說明，
看起來這玩意應該可以直接在windows上使用，
配合我先前建置好的本地AI環境即可執行。
有空來玩玩看。
話說野口兄有使用Gemma4-26B-A4B搭配Hermes跑任務嗎? 效果如何?
最近總有人在說千問的MOE模型有多好，但手上的機器算力實在太弱(單純就RAM多)，
有打算砸錢入手Strix Halo 395來試試。
|
服務目前使用 WebGPU 使用指定模型進行推理測試
本地目前僅支援 llama.cpp
Hermes 我有用，也長時間搭配 Gemma4 26B
如果你目前還在用，沒更新過聊天模板建議更新，有修復一些工具調用的問題
https://huggingface.co/google/gemma..._template.jinja
Strix Halo 目前的價格其實不是很理想
尤其是 m5 ultra 出了之後
目前 cp 值最高的是 m5 ultra 256GB
如果真的一定現在買一台
就買 m5 ultra
或者等等看 RTX Spark 出會不會有價格變化
但我不太建議等，可能越等越貴
工具調用問題可以更新聊天模板，如果你沒更新過的話
然後有千問就真的不建議使用 Gemma 編碼，兩者不是同一級別的