引用:
|
作者ericshliao
https://www.youtube.com/watch?v=1N6a46QqdhI
斯波圖的影片.
現在要在自己家裡佈署AI機器, 不想用雲端伺服器, 除了價錢是個大問題外, NVIDIA顯卡配的顯存太小也是個問題. 我一直在想應該會有廠商推出大容量內存顯存共享的機器, 這台極犘客的GMK EVO-X2看起來很不錯.
|
基本上5090可以解決你90%問題
不能的話就是你該上EPYC洋垃圾的時候
當初也想買strix halo
後來看開了先買HX365 32GB RAM, 非常爽
Strix Halo從發表到有實際機器可以賣大概要六到八個月
Medusa Halo大概也是, 所以最後先買先贏..
附帶一提的是, 395跑LLM沒有想像中的快, 而記憶體不夠也是沒辦法也沒救的事實 (128GB對於QWEN3 30B來說效能過剩, 480B記憶體又差太遠. 235B Q4也放不下, 唯一適合的是70B Q4或是Q8, 但是Qwen3的30B比以前的llama 3 70B聰明)
offload CPU因為share 主記憶體, 基本上最後變尷尬的定位
不考慮Ktransformer洋垃圾嗎?
如果你要的模型很小, AI 9 365/370 32GB記憶體就夠了 (32B Q4)