相容性評估與效能分析
硬體相容性列表 (HCL)
Start Up (24B)
| 元件 |
最低要求 |
備註 |
| 中央處理器 (CPU) |
32 Threads 2.5GHz 以上 |
支援 x86 架構，支援 AVX-512 指令集的 CPU，以優化資料處理效能。 |
| 系統記憶體 (RAM) |
256 GB DDR5 4000MHz 以上 |
記憶體大小直接影響系統能載入的模型最大規模，以及能同時運行的模型實例數量。 |
| 儲存空間 (SSD) |
2 TB NVMe SSD * 2 (RAID 5) |
|
| 2 TB NVMe SSD * 4 (RAID 10) |
使用高速 SSD 以確保模型快速載入與讀取。 |
|
| 圖形處理器 (GPU) |
NVIDIA RTX Pro 6000 * 2 |
|
| 推論模型 (LLM) |
ACE1-24B-NVFP4 |
|
| 網路 (Network) |
100 Gbps |
|
| Concurrent User of Inferencing (CCU) |
~20 |
| Context Window (CW) |
65K |
| Time to First Token (TTFT) |
0.9s |
| Output Tokens per Second (TPS) |
~3,200 |
| Performance of Processing Standard PDF |
~1.875 Files / 10 minutes |
Core (27B)
| 元件 |
最低要求 |
備註 |
| 中央處理器 (CPU) |
48 Threads 2.5GHz |
支援 x86 架構，支援 AVX-512 指令集的 CPU，以優化資料處理效能。 |
| 系統記憶體 (RAM) |
512 GB DDR5 4000MHz |
記憶體大小直接影響系統能載入的模型最大規模，以及能同時運行的模型實例數量。 |
| 儲存空間 (SSD) |
2 TB NVMe SSD * 2 (RAID 5) |
|
| 4 TB NVMe SSD * 4 (RAID 10) |
使用高速 SSD 以確保模型快速載入與讀取。 |
|
| 圖形處理器 (GPU) |
NVIDIA RTX Pro 6000 * 4 |
|
| 推論模型 (LLM) |
ACE2-27B-FP8 |
|
| 網路 (Network) |
100 Gbps |
|
| Concurrent User of Inferencing (CCU) |
~40 |
| Context Window (CW) |
128K |
| Time to First Token (TTFT) |
0.3s |
| Output Tokens per Second (TPS) |
~5,025 |
| Performance of Processing Standard PDF |
~3.75 Files / 10 minutes |
Scale Up (27B)
| 元件 |
最低要求 |
備註 |
| 中央處理器 (CPU) |
64 Threads 2.5GHz |
支援 x86 架構，支援 AVX-512 指令集的 CPU，以優化資料處理效能。 |
| 系統記憶體 (RAM) |
1,024 GB DDR5 4000MHz |
記憶體大小直接影響系統能載入的模型最大規模，以及能同時運行的模型實例數量。 |
| 儲存空間 (SSD) |
2 TB NVMe SSD * 2 (RAID 5) |
|
| 4 TB NVMe SSD * 6 (RAID 10) |
使用高速 SSD 以確保模型快速載入與讀取。 |
|
| 圖形處理器 (GPU) |
NVIDIA RTX Pro 6000 * 8 |
|
| 推論模型 (LLM) |
ACE2-27B-FP8 |
|
| 網路 (Network) |
100 Gbps |
|
| Concurrent User of Inferencing (CCU) |
~140 |
| Context Window (CW) |
128K |
| Time to First Token (TTFT) |
0.3s |
| Output Tokens per Second (TPS) |
~11,725 |
| Performance of Processing Standard PDF |
~7.5 Files / 10 minutes |
Prime (24B)
| 元件 |
最低要求 |
備註 |
| 中央處理器 (CPU) |
32 Threads 2.5GHz |
支援 x86 架構，支援 AVX-512 指令集的 CPU，以優化資料處理效能。 |
| 系統記憶體 (RAM) |
384 GB DDR5 4000MHz |
記憶體大小直接影響系統能載入的模型最大規模，以及能同時運行的模型實例數量。 |
| 儲存空間 (SSD) |
2 TB NVMe SSD * 2 (RAID 5) |
|
| 4 TB NVMe SSD * 4 (RAID 10) |
使用高速 SSD 以確保模型快速載入與讀取。 |
|
| 圖形處理器 (GPU) |
NVIDIA H200 * 2 |
|
| 推論模型 (LLM) |
ACE1-24B-FP8 |
|
| 網路 (Network) |
100 Gbps |
|
| Concurrent User of Inferencing (CCU) |
~60 |
| Context Window (CW) |
65K |
| Time to First Token (TTFT) |
1.1s |
| Output Tokens per Second (TPS) |
~3,800 |
| Performance of Processing Standard PDF |
~3.75 Files / 10 minutes |
Matrix (27B)
| 元件 |
最低要求 |
備註 |
| 中央處理器 (CPU) |
48 Threads 2.5GHz |
支援 x86 架構，支援 AVX-512 指令集的 CPU，以優化資料處理效能。 |
| 系統記憶體 (RAM) |
768 GB DDR5 4000MHz |
記憶體大小直接影響系統能載入的模型最大規模，以及能同時運行的模型實例數量。 |
| 儲存空間 (SSD) |
2 TB NVMe SSD * 2 (RAID 5) |
|
| 4 TB NVMe SSD * 6 (RAID 10) |
使用高速 SSD 以確保模型快速載入與讀取。 |
|
| 圖形處理器 (GPU) |
NVIDIA H200 * 4 |
|
| 推論模型 (LLM) |
ACE2-27B-FP8 |
|
| 網路 (Network) |
100 Gbps |
|
| Concurrent User of Inferencing (CCU) |
~210 |
| Context Window (CW) |
128K |
| Time to First Token (TTFT) |
0.9s |
| Output Tokens per Second (TPS) |
~14,000 |
| Performance of Processing Standard PDF |
~7.5 Files / 10 minutes |
Dominion (27B)
| 元件 |
最低要求 |
備註 |
| 中央處理器 (CPU) |
64 Threads 2.5GHz |
支援 x86 架構，支援 AVX-512 指令集的 CPU，以優化資料處理效能。 |
| 系統記憶體 (RAM) |
1,536 GB DDR5 4000MHz |
記憶體大小直接影響系統能載入的模型最大規模，以及能同時運行的模型實例數量。 |
| 儲存空間 (SSD) |
2 TB NVMe SSD * 2 (RAID 5) |
|
| 8 TB NVMe SSD * 4 (RAID 10) |
使用高速 SSD 以確保模型快速載入與讀取。 |
|
| 圖形處理器 (GPU) |
NVIDIA H200 * 8 |
|
| 推論模型 (LLM) |
ACE2-27B-FP8 |
|
| 網路 (Network) |
100 Gbps |
|
| Concurrent User of Inferencing (CCU) |
~300 |
| Context Window (CW) |
128K |
| Time to First Token (TTFT) |
0.9s |
| Output Tokens per Second (TPS) |
~20,000 |
| Performance of Processing Standard PDF |
~30 Files / 10 minutes |
備註：
軟體相容性列表
本章節旨在幫助您了解本產品的軟體架構，所有元件都已預先配置並優化，以確保系統的穩定性與最佳效能。
| 元件 |
軟體 / 服務 |
版本要求 |
備註 |
| 虛擬化平台 |
Proxmox VE (PVE) |
8.1 或更高版本 |
平台底層的虛擬化環境已預先安裝與配置。為確保穩定性，不建議變更或重新安裝。 |
| 虛擬機器 (VM) |
Ubuntu Server |
24.04 LTS (64-bit) |
服務運行在 VM 上。為確保軟體與驅動程式的相容性，請勿變更 VM 的作業系統或其核心設定。 |
| 服務管理 |
Kubernetes (k8s) |
1.28 或更高版本 |
平台內各項微服務皆透過 k8s 進行部署與管理，確保服務的高可用性、負載平衡與擴展性。 |
| 核心服務 |
Node.js |
18.x.x (hydrogen) LTS 或更高版本 |
核心服務使用的程式語言與版本。 |
| 核心服務 |
Python |
3.10.x 或更高版本 |
核心服務使用的程式語言與版本。僅支援狀態為 Security 的版本。 |
| 核心服務 |
PostgreSQL |
14.x 或更高版本 |
資料庫服務已內建於產品中。 |