瀏覽單個文章
windwithme
Elite Member
 
windwithme的大頭照
 

加入日期: Feb 2001
您的住址: 台灣
文章: 6,513
電源供應器同樣使用InWin的PII系列P130II 1300W,主要符合ATX3.1規範與提供PCI-E 5.0 12VHPWR;
因應AI世代可擴充高效能的多張顯示卡,最高提供2500W高瓦數選擇。
通過80PLUS白金牌認證,轉換功率可達92%,100%全日系電容;
並具備多重電路保護設計、5V與3.3V DC-DC設計、高可靠度105°C全日系電解電容。


內建135mm液態軸承(FDB)風扇,擁有智慧溫控轉設計,負載20%以下為零轉速風扇模式,超過20%會自動運作維持良好的散熱模式。
模組化設計搭配扁平線材,支援2個PCI-E 5.0 12VHPWR接頭,每個最高可提供600W,此外提供10年原廠保固。


工作站測試平台:
CPU: Intel Xeon 658X
MB: ASUS Pro WS W890E-SAGE SE
DRAM: Kingston DDR5 5600 768GB (96GBX8) ECC Registered DIMM
VGA: Intel Arc Pro B70 32GB
SSD: Micron 3400 SSD 2TB
POWER: InWin PII SERIES P130II
Cooler: Noctua NH-U14S DX-4677
Case:InWin COVALENT
OS: Windows 11 2025H2 26200 / 電源模式平衡
* 效能分數表現會因使用情境、配置及其他因素而異,僅供參考。


在導入AI應用時,企業往往面臨雲端前沿模型與自建本地端主權AI系統的兩難抉擇。
然而,基於資訊安全與算力自由運作的前提下,本地端AI已逐漸成為主流趨勢。
導入AI能帶來多少生產力效益,關鍵在於能否突破目前最痛的業務瓶頸,無論是工業設計部門對造型創意的口語化發想、軟體開發部門的程式碼建構,
還是業務與客服部門需要快速回應產品規格的多部門共同深層知識庫。

為了驗證本地端AI的實務潛力,我們將以B70結合工作站平台為基礎,模擬小企業或個人導入AI後的各部門應用情境。
本次應用涵蓋從文生圖、腳本生成到進階影片製作,以及結合RAG、LM Studio Bionic與Hermes Desktop等AI Agent的多模型協作應用。
過程中使用的提示詞複雜度與長短、參數配置,都會影響到生成的速度,為求真實呈現,我們不做刻意優化。

具體實作上,我們設定一個假設情境:開發一款簽署了NDA保密協議不可對外曝光的全新產品—雙功能AI PC掌機「WWM Duo AI+」,由於涉及高度機密,所有開發工作必須完全留在本地端進行。
接下來,我們將針對不同部門的需求,運用多款專業開源軟體,完整呈現一套高效的AI工作流。

多部門對話入口 — Open WebUI:
具備雲端前沿模型相似的介面,大幅降低學習曲線,只需要開啟瀏覽器,不須逐台電腦安裝,作為對話問答平台使用入口,結合多部門用戶權限控管,
搭配RAG達成可信賴生成式文字對話,不只憑模型能力回答,精確查詢公司內部資料,控管知識庫權限與資訊可靠度。


工業設計部門的文生圖應用 — ComfyUI:
設計師將創意內容使用ComfyUI搭配Z-Image-Turbo模型進行文生圖,產生高解析度的圖片,依照提示詞複雜度、生成的解析度範圍1024~1280左右,僅耗時約10~50秒左右。
由於生成速度極快,設計師能迅速產出多組視覺方案進行比對,並快速進行提示詞或者設計構思的迭代優化,有效節省時間成本、提高生產力,而不用坐在電腦前苦苦等待。


社群行銷部門 — 結合文字、圖片、影片三者共同應用:
透過Open WebUI與Qwen 3.8 27B多模態模型互動,讓視覺模型精確看到全新設計的WWM Duo AI+產品樣貌,分析出產品特色,
並可依銷售地區偏好、企業識別或記憶錨點,進一步與模型互動確認方向,做為下一步影片生成或專業拍攝團隊的溝通基礎,快速流程推進。


具備思考的多模態模型,進一步構思用戶語意,將簡單的影片拍攝想法擴充,也能結合RAG將模型專屬的控制指令加入,更加精確生成圖生影片的文字提示詞,
省去逐步從零開始手刻提示詞的時間,只需簡單複製貼上ComfyUI,就能快速迭代修改不滿意的地方,進行下一步產出影片或者加快與專業團隊討論的方向。


社群行銷部門或外部專業影像團隊,則可透過ComfyUI搭配目前開源模型中最接近付費第一梯隊的影片模型MiniMax H3,產出高品質影片。
順帶一提,寫文的同時模型才剛發布,全球包含Intel在內許多業者於Day 0提供支援,更有許多加快生成速度的LoRA與將畫質放大成清晰影片的Upscale方案在不斷的成長當中。
經過我們測試各有優缺點,這邊我們採用原始工作流來做基礎骨架,以便於後續加速方案時能快速有所參照基準。
實際測試,提示詞的複雜度對生成時間影響相當大,實際使用當前提示詞產出1024×1024影片約需20分鐘。有看到一些最新優化技術可縮短至小於影片播放時長,達成即時生成的效率。
在大模型的載入與切換下32G VRAM的優勢在此呈現出來,不同節點的模型可完整載入VRAM,省去無法完整載入使得同節點運算,卻需要頻繁與主記憶體切換的通訊開銷,
並且受益於工作站八通道頻寬優勢與龐大的主記憶體空間,增進節點模型切換的效能。


客服與業務部門的RAG知識庫應用:
隨著產品銷售,第一線面對客戶端各式各樣的提問,如何精確快速的在眾多產品當中獲取關鍵資訊,或者快速答覆客戶不同機型的差異性,RAG技術是相當重要的解法之一。
尤其是對於全新產品線,還有公司專有知識是模型從未學習過的內容,RAG此時更顯關鍵。
除了虛構WWM Duo AI+,更創造了一個全新的虛擬顯示卡B490做示範,圖中左側為模型思考過程與右側為RAG知識庫的內容,由這些知識當中精確找出來回應。


從圖中的左右對比視窗可以看到,右側未掛載附加知識庫時完全無法查詢到正確答案。
左側視窗結合Open WebUI與NVIDIA推出的AI Agent模型Nemotron-3.5-Lightning-30B-A3B,目前使用Open WebUI內建的嵌入模型運行,
受益於32G VRAM也能夠將更強大參數的嵌入模型共同與主模型完整載入,以遠高於人眼閱讀速度的破百tokens/s生成速度,精準並快速回應客戶提問。
 
__________________
小弟Facebook粉絲團Windwithme WWM 風大,歡迎3C同好參觀指教
舊 2026-10-06, 08:25 PM #2
回應時引用此文章
windwithme離線中