瀏覽單個文章
windwithme
Elite Member
 
windwithme的大頭照
 

加入日期: Feb 2001
您的住址: 台灣
文章: 6,513
行政部門作業資料分類歸檔AI Agent應用 — LM Studio Bionic:
企業中或個人使用時常會有各式單據、圖片、資料需要進行分類與歸檔,這種機械化重複流程,使用人工作業相當費時費力,在有大量需要存取電腦上的資料,
且不需要精細權限控管的情境下,可使用對新手較友善的輕量級Bionic,同時具備模型管理、AI Agent且擁有Code專案與Work專案管理能力的桌面應用程式。
Work專案可以處理文件、PDF、簡報、試算表及其他工作檔案;Code專案對於不熟程式碼的人員,也可簡單寫個小程式工具,快速解決個人化特殊需求,讓分類與歸檔更有效率。
這邊使用Qwen 3.8 27B低思考與Tool Call,在評測圖片中使用視覺檢索出我們需要的圖片,可解決省去人工逐張圖片確認的工時。


Hermes多AI Agent應用與混合架構相容性:
前面提到的Bionic屬於較輕量級的AI Agent,當企業有更複雜的任務需求,例如當消費者要確認商品訂單狀態,
透過串聯通訊平台將客服系統導入自動化回應、自動化排程,可使用熱門的Hermes Desktop,處理被動問答到主動執行任務等技能。
當多任務同時進行時,高負載狀態下的平衡分流,可以使用NVIDIA在9月份最新發布的Personal AI Router (PAIR)支援混合多架構部署,
實現Intel ARC、NVIDIA、Mac算力的統籌調度,雖然這樣的Router對於硬體架構影響較小,但也驗證軟體層面下ARC GPU的相容性,讓算力資源最大化。
使得Hermes Desktop面對重量級的MoA混合代理,或多個子代理併發情境,藉由多運算節點將B70做為主要算力或子算力的節點都是相當不錯的選擇。
(此圖使用主記憶體384GB降規測試)


IT部門的概念驗證:
當公司對AI的應用逐漸提升,或者商業領域的拓展,對於本地端模型的能力逐漸要求,但購置設備的到貨與撥款都需要時間,透過XEON平台八通道頻寬與總主記憶體容量,
使用GPU Offload技術將部分模型權重與KV搬到主記憶體與MoE模型的特性,讓DeepSeek V4-Flash 284B-A13B與Kimi K2.6-1T-A32B這類型超大參數模型在本地運行驗證測試成為可能。


接著進入到此工作站平台效能表現:
CPU-Z
658X 24核48執行緒 => Single Thread 734.9、Multi Thread 21489、Multi Thread Ratio 29.24;
AIDA64 Memory Read – 267.96 GB/s、Write - 259.28GB/s;
8通道架構是此工作站平台優勢,這裡使用DDR5 5600單條96GB x 8共768GB,全預設值的時脈與參數已讓頻寬表現已經不是消費級水準。
順道一提,網路上看到網友分享手上更高階678X 48核能超頻全核至5G,並貼出超頻後CPU-Z單核達840、全核超過49000以上、CINEBENCH R23全核破十萬;
並用8800跑出Read 531.23 GB/s、Lantency 83.4ns與8000 Read 471.84 GB/s、Lantency 97.1ns。
此外也有網友測試678X搭配D5超頻6000獲得Read 347.26 GB/s。難怪ASUS這款工作站主機板標榜超頻功能,由網路分享看起來超頻後效能增幅相當大。


Geekbench 7:
658X => Single-Core Score => 1994、Multi-Core Score => 29173;


B70 => OpenCL Score 151176、Vulkan Score 151759


Geekbench AI Score:
B70 OpenVINO => Single Precision 33352 / Half Precision 68805 / Quantized 72060;


SPECviewperf 15.0.1專業圖形效能基準測試軟體,專門用來評估電腦硬體,特別是工作站顯示卡,包含專業3D繪圖、CAD/CAM工程設計、科學視覺化以及影音動態處理時的真實效能。


SPECworkstation是一款專為工作站設計的測試軟體。
4.0版加入AI/ML測試項目,基準測試包含23個工作負載,共80幾個子測試,針對CPU、GPU、加速器、磁碟等項目進行模擬多種產業的實際使用情境。


溫度28.7度與濕度50%,機殼內運行AIDA64 Stress CPU與FPU、FurMark GPU雙烤全速燒機:
__________________
小弟Facebook粉絲團Windwithme WWM 風大,歡迎3C同好參觀指教
舊 2026-10-06, 08:28 PM #3
回應時引用此文章
windwithme離線中