NCA-AIIO 8: HGX, DGX, MGX và SuperPOD, các hình thái đóng gói
Loạt NCA-AIIO (9 phần): 1. Tổng quan & GPU cơ bản · 2. CUDA & lập trình song song · 3. Container & inference serving · 4. H100, H200 & DGX · 5. Networking data center · 6. GPUDirect & NCCL · 7. Blackwell & NVL72 · 8. HGX, DGX & SuperPOD · 9. Vận hành, điện & sizing
Phần 8/9 trong loạt NCA-AIIO: đọc sau Phần 7. Cùng một con chip được đóng gói và bán ra theo bốn cách khác nhau, mỗi cách một ranh giới trách nhiệm.
Cập nhật: 2026-10-23
Mục lục
- 1. Cùng một con chip, bốn cách bán ra
- 2. NVIDIA thiết kế chip, ai lắp ra máy?
- 3. HGX: tấm baseboard là sản phẩm
- 4. DGX: cả chiếc máy là sản phẩm
- 5. MGX: bộ khung để đối tác tự lắp
- 6. NVL72: cả tủ rack là sản phẩm
- 7. Bảng so sánh và cách chọn
- 8. Mặt thương mại và vận hành khi chọn giữa DGX và HGX
- 9. Bên trong một node HGX 8 GPU
- 10. Từ node lên cụm: BasePOD và SuperPOD
- 11. Scalable Unit, đơn vị mở rộng
- 12. Control plane: phần ít ai nhắc nhưng không thể thiếu
- 13. Phần mềm đi kèm
- Nguồn tham khảo
1. Cùng một con chip, bốn cách bán ra
Một tổ chức quyết định đầu tư 64 GPU H200 cho đội nghiên cứu. Câu hỏi tiếp theo nghe có vẻ đơn giản nhưng lại là chỗ nhiều người mắc kẹt: mua cái gì?
Trên thị trường có ít nhất bốn thứ khác nhau cùng chứa con chip đó. Có thể mua tám chiếc DGX H200 từ NVIDIA. Có thể mua tám server HGX H200 từ Dell, HPE hay Supermicro. Có thể mua các server MGX rồi tự chọn cấu hình. Và với đời Blackwell, có thể mua nguyên một tủ NVL72.
Bốn lựa chọn đó khác nhau về giá, về mức độ tuỳ biến, về ai chịu trách nhiệm khi hỏng, và về việc có phải tự thiết kế hệ thống hay không. Phần này làm rõ từng loại.
Ba câu hỏi phần này trả lời:
- HGX, DGX, MGX và NVL72 khác nhau ở chỗ nào, và ranh giới trách nhiệm nằm đâu.
- Một server 8 GPU cần những gì ngoài GPU để chạy được.
- BasePOD và SuperPOD là gì, và Scalable Unit đóng vai trò gì trong việc mở rộng.
2. NVIDIA thiết kế chip, ai lắp ra máy?
Phần đầu của loạt bài đã nhắc tới mô hình này ở mảng card đồ họa tiêu dùng: NVIDIA thiết kế con die, còn các board partner như ASUS, MSI hay Gigabyte đưa chip lên bo mạch, gắn quạt và bán ra với thương hiệu riêng. Ngoại lệ là bản Founders Edition do chính NVIDIA làm.
Mảng data center theo đúng logic đó nhưng ở quy mô lớn hơn, và NVIDIA tham gia sâu hơn vào chuỗi lắp ráp. Thay vì chỉ bán con chip rời, NVIDIA bán sẵn cả cụm GPU đã hàn lên bo mạch kèm NVSwitch, vì phần đấu nối NVLink giữa tám GPU quá phức tạp và quá nhạy cảm về tín hiệu để giao cho từng nhà sản xuất tự làm.
Ranh giới trách nhiệm vì thế dịch chuyển theo từng hình thái sản phẩm. Càng lên cao trong danh sách dưới đây, NVIDIA càng làm nhiều và khách hàng càng ít việc phải lo.
💡 Hình dung như thế này: bốn hình thái này giống bốn cách mua một căn bếp. HGX là mua trọn bộ tủ bếp đã lắp sẵn, còn việc đặt vào nhà nào, đi điện nước ra sao thì thuê thợ riêng. DGX là mua căn hộ đã bàn giao đủ bếp, chủ đầu tư bảo hành toàn bộ. MGX là mua một bộ khung chuẩn cùng danh mục linh kiện tương thích rồi tự chọn từng món. NVL72 là mua nguyên một căn nhà đúc sẵn chở tới đặt xuống móng.
3. HGX: tấm baseboard là sản phẩm
HGX là một tấm bo mạch mang sẵn nhiều GPU đã hàn chết kèm các chip NVSwitch nối chúng với nhau. NVIDIA bán tấm này cho các nhà sản xuất server, và họ dựng phần còn lại quanh nó: khung máy, CPU, RAM, nguồn, quạt, card mạng, ổ đĩa.
Cấu hình phổ biến là 8 GPU, ngoài ra có bản 4 GPU. Thông số baseboard theo từng đời:
| HGX H100 | HGX H200 | HGX B200 | |
|---|---|---|---|
| Bộ nhớ mỗi GPU | 80 GB HBM3 | 141 GB HBM3e | 180 GB HBM3e |
| Bộ nhớ tổng mỗi node | khoảng 640 GB | khoảng 1,1 TB | 1,44 TB |
| Băng thông bộ nhớ mỗi GPU | 3,35 TB/s | 4,8 TB/s | tới 8 TB/s |
| Băng thông bộ nhớ tổng | 26,8 TB/s | 38,4 TB/s | tới 64 TB/s |
| NVSwitch | Thế hệ 3 | Thế hệ 3 | Thế hệ 4 |
| NVLink | Thế hệ 4 | Thế hệ 4 | Thế hệ 5 |
| Băng thông NVLink tổng | 7,2 TB/s | 7,2 TB/s | 14,4 TB/s |
| GPU-to-GPU | 900 GB/s | 900 GB/s | 1.800 GB/s |
| Hiệu năng AI | 32 PFLOPS | 32 PFLOPS | 144 PFLOPS |
Lợi ích của đường HGX là khách hàng chọn được nhà cung cấp mình đã quen, dùng được hợp đồng bảo hành sẵn có, và tuỳ biến được những phần ngoài GPU. Một tổ chức đã chuẩn hoá toàn bộ data center trên Dell sẽ muốn server GPU cũng là Dell, để quy trình thay thế linh kiện và hỗ trợ không phải tách ra làm hai luồng.
Đánh đổi là NVIDIA không chịu trách nhiệm cho cả chiếc máy. Khi hệ thống gặp sự cố khó, việc xác định lỗi thuộc baseboard, phần nhà sản xuất lắp thêm, hay phần phần mềm có thể kéo dài.
4. DGX: cả chiếc máy là sản phẩm
DGX là server hoàn chỉnh do NVIDIA thiết kế, kiểm thử, sản xuất và bảo hành. Bên trong vẫn là baseboard HGX, nhưng mọi thứ quanh nó cũng do NVIDIA quyết định: CPU nào, bao nhiêu RAM, mấy card mạng, ổ đĩa gì, firmware nào. Máy giao tới kèm hệ điều hành DGX OS và trọn bộ phần mềm đã cấu hình sẵn.
Tài liệu Fabric Manager của NVIDIA ghi rõ topology NVLink của DGX H200, HGX H200 và HGX H20 giống hệt bản H100, cho thấy phần lõi dùng chung giữa hai đường sản phẩm.
Vì sao có người trả giá cao hơn cho DGX:
- Một đầu mối duy nhất chịu trách nhiệm từ phần cứng tới driver, không có chuyện đổ lỗi qua lại.
- Cấu hình đã được NVIDIA kiểm thử ở quy mô hàng nghìn node, nên các vấn đề về firmware, tương thích driver và điều chỉnh NCCL đã được xử lý trước.
- Là nền tảng mà kiến trúc tham chiếu SuperPOD xây dựng trên đó, nên muốn dựng SuperPOD đúng chuẩn thì đi đường này là ngắn nhất.
Điểm trừ: gần như không tuỳ biến được, và giá cao hơn đáng kể so với một server HGX cùng số GPU.
5. MGX: bộ khung để đối tác tự lắp
MGX không phải một sản phẩm cụ thể mà là một kiến trúc tham chiếu module. NVIDIA công bố quy cách khung máy, cách bố trí khe cắm, cách đi nguồn và làm mát, rồi các nhà sản xuất dựng server theo quy cách đó và tự chọn tổ hợp GPU, CPU, DPU, lưu trữ, mạng.
Khác biệt so với HGX nằm ở mức tự do khi cấu hình. HGX cố định sẵn cụm 8 GPU hàn chết trên baseboard. MGX cho phép lắp GPU dạng card PCIe với số lượng tuỳ ý, ghép CPU x86 hoặc ARM, nhắm tới các bài toán không cần tới tám GPU nối NVLink đầy đủ.
Ví dụ cụ thể: H200 NVL, biến thể PCIe của H200, được bán theo đường MGX chứ không phải HGX. Khách hàng cần hai hoặc bốn GPU trong một server tiêu chuẩn cho inference sẽ đi hướng này thay vì mua cả baseboard tám GPU.
6. NVL72: cả tủ rack là sản phẩm
Với thế hệ Blackwell, NVIDIA thêm một hình thái nữa: đơn vị bán hàng là nguyên một tủ rack đã lắp sẵn và làm mát bằng chất lỏng, chứa 72 GPU nối NVLink thành một miền duy nhất.
Rack gồm 18 compute tray 1U (mỗi khay 2 CPU Grace và 4 GPU Blackwell) cùng 9 NVLink switch tray 1U. Khách hàng không chọn linh kiện, không tự lắp, chỉ chuẩn bị điện, nước làm mát và sàn chịu tải rồi nhận hàng.
Phần trước của loạt bài đã mổ xẻ kỹ cấu trúc và yêu cầu hạ tầng của dạng này.
7. Bảng so sánh và cách chọn
| HGX | DGX | MGX | NVL72 | |
|---|---|---|---|---|
| NVIDIA bán cái gì | Baseboard nhiều GPU | Server hoàn chỉnh | Quy cách khung và danh mục tương thích | Cả tủ rack |
| Ai lắp máy | OEM hoặc nhà tích hợp | NVIDIA | OEM | NVIDIA và đối tác |
| Mức tuỳ biến | Phần ngoài GPU | Gần như không | Cao nhất | Không |
| Số GPU điển hình | 4 hoặc 8 | 8 | 1 tới 8, dạng PCIe | 72 |
| Ai bảo hành | OEM | NVIDIA | OEM | NVIDIA và đối tác |
| Hợp với | Tổ chức đã chuẩn hoá theo một OEM | Đơn vị muốn gọn và muốn dựng SuperPOD | Bài toán không cần NVLink đầy đủ | Cụm rất lớn, model rất lớn |
Hướng chọn thực tế:
- Đã có hợp đồng và quy trình vận hành với một OEM, muốn giữ nguyên cách làm hiện tại thì chọn HGX từ chính OEM đó.
- Muốn một nhà chịu trách nhiệm từ đầu tới cuối, hoặc có kế hoạch mở rộng theo kiến trúc tham chiếu SuperPOD thì chọn DGX.
- Nhu cầu chủ yếu là inference, số GPU mỗi máy ít, không cần tám GPU nối NVLink thì chọn MGX.
- Model lớn tới mức cần miền NVLink vượt tám GPU, và data center đáp ứng được điện cùng làm mát chất lỏng thì chọn NVL72.
8. Mặt thương mại và vận hành khi chọn giữa DGX và HGX
Hai server tám GPU H200, bản DGX và bản HGX của OEM, cho thông lượng training sát nhau vì chung lõi tính toán. Chênh lệch nằm ở các dòng khác trên hợp đồng, ở thời điểm hàng về kho, và ở việc ai nhận cuộc gọi khi cụm treo lúc hai giờ sáng.
Giá mua chỉ là một phần của tổng chi phí sở hữu. NVIDIA không công bố giá niêm yết cho dòng DGX; các nguồn phân phối năm 2026 báo một hệ DGX H100 khoảng 300.000 tới 520.000 USD. Khoảng rộng đó cho thấy báo giá đơn lẻ không đủ để so sánh, vì thiết bị compute chỉ là một dòng trong dự toán.
| Khoản mục | Vì sao không bỏ qua được |
|---|---|
| Hợp đồng hỗ trợ | Ký nhiều năm, tính theo node, là điều kiện để được thay linh kiện. |
| Giấy phép phần mềm | NVIDIA AI Enterprise có phí, tính theo GPU hoặc node, phải gia hạn. |
| Lắp đặt, nghiệm thu | Có trong gói SuperPOD, là hạng mục riêng khi tự dựng HGX. |
| Đào tạo vận hành | Slurm, Base Command Manager, chẩn đoán NCCL và fabric đều phải học. |
Một đầu mối hay nhiều bên. Với DGX, trách nhiệm là một đường thẳng: NVIDIA thiết kế máy, chốt firmware, phát hành DGX OS và bảo hành toàn bộ. Đường HGX có nhiều bên: OEM chịu chiếc máy, NVIDIA chịu baseboard và driver, bên lưu trữ chịu hệ file, bên mạng chịu switch. Cách chia đó lộ ra ở sự cố khó: job chậm dần rồi dừng, NCCL báo timeout trên vài rank, mà không linh kiện nào báo lỗi cứng. Chẩn đoán phải đối chiếu cùng lúc firmware, driver, định tuyến fabric và nhật ký lưu trữ; mỗi bên nhìn phần của mình, không thấy sai, hồ sơ chuyển qua lại, còn cụm vẫn đứng.
Thời gian có hàng. Nguồn cung GPU data center bị chặn ở hai khâu hẹp là bộ nhớ HBM và năng lực đóng gói tiên tiến, nên lịch nhận máy là một tham số thiết kế. Một OEM lớn có thể đang giữ tồn kho khu vực cho cấu hình HGX phổ thông, trong khi bản DGX đời mới phải xếp lịch; ngược lại, đời vừa ra mắt thường có trên đường DGX trước khi OEM hoàn tất kiểm định bản HGX. Đơn mua chia nhiều lô cách nhau vài quý còn dễ nhận về hai đời phần cứng, mà cụm pha trộn thì job chạy theo node chậm nhất.
Vì sao đã chuẩn hoá theo một OEM thì khó đổi. Một tổ chức vận hành vài trăm server cùng hãng có kho linh kiện dùng chung, một mốc firmware đã kiểm định, công cụ quản lý ngoài băng đã gắn vào hệ giám sát, và đội kỹ thuật quen tay. Thêm DGX nghĩa là có bản thứ hai của từng món đó cho một nhóm máy nhỏ hơn nhiều: chi phí phụ trội mỗi node vì thế cao, và là chi phí tổ chức chứ không phải chi phí thiết bị, nên không hiện ra ở bước so giá.
Khi nào chênh lệch giá là xứng đáng. Phần cộng thêm của DGX đổi lấy công kiểm thử quy mô lớn, một đầu mối bảo hành, và máy giao tới đã cấu hình xong. Nó đáng trả khi đội vận hành mỏng, thiếu người chuyên về firmware và fabric InfiniBand; khi cụm nằm trong kế hoạch mở rộng theo SuperPOD; khi mốc chạy job đầu tiên là ràng buộc cứng; hoặc khi mỗi ngày dừng quy ra tiền nhanh hơn khoản tiết kiệm lúc mua. Với đơn vị đã có đội hạ tầng tự chủ hoặc chủ yếu chạy inference, phần đó mua về những thứ tổ chức đã tự lo được.
9. Bên trong một node HGX 8 GPU
Một hệ thống 8 GPU không chỉ là tám con GPU. Kiến trúc tham chiếu của NVIDIA đặt ra yêu cầu tối thiểu cho phần còn lại, và các con số này giải thích vì sao một server GPU đắt hơn nhiều so với tổng giá các GPU trong đó.
| Thành phần | Yêu cầu tối thiểu |
|---|---|
| CPU | 2 socket, mỗi socket 48 nhân vật lý (khuyến nghị 56), xung nền 2,1 GHz |
| RAM hệ thống | 1,5 TB, băng thông ít nhất 500 GB/s |
| NVMe cục bộ cho inference hoặc HPC | 1 TB mỗi socket CPU |
| NVMe cục bộ cho training | 2 TB mỗi socket CPU |
| Ổ boot | 1 TB NVMe riêng |
| NIC East/West | 8 card SuperNIC, mỗi card tới 400 Gb/s, tỉ lệ 1 NIC cho 1 GPU |
| NIC North/South | 1 BlueField-3 DPU |
| Bảo mật | TPM 2.0 cho secure boot |
Vài điểm đáng dừng lại:
Tỉ lệ 1 NIC cho 1 GPU. Mỗi GPU có đường ra mạng riêng, không chia sẻ. Đây là điều kiện để topology rail-optimized hoạt động và để GPUDirect RDMA đạt băng thông thiết kế. Tổng băng thông ra ngoài của một node vì vậy là 8 × 400 Gb/s, tức 3,2 Tb/s.
1,5 TB RAM cho một máy 8 GPU. Nghe thừa thãi cho tới khi nhìn vào vai trò thật của CPU: đọc dữ liệu từ lưu trữ, giải nén, biến đổi và xếp batch để GPU không bao giờ phải chờ. Thiếu RAM thì pipeline nạp dữ liệu nghẽn và GPU chạy không hết công suất dù model đúng.
NVMe cục bộ gấp đôi cho training. Training ghi checkpoint định kỳ với dung lượng rất lớn, và cần chỗ đệm cho dữ liệu đang được xử lý.
Mô hình RAM theo tỉ lệ dễ nhớ: RAM hệ thống thường gấp khoảng hai lần tổng bộ nhớ GPU. Với node H100 có 640 GB HBM thì 1,5 TB RAM nằm đúng khoảng đó.
10. Từ node lên cụm: BasePOD và SuperPOD
Có node rồi vẫn chưa có cụm. Phải thêm fabric, lưu trữ, các node quản lý và phần mềm điều phối. NVIDIA đóng gói phần việc đó thành hai kiến trúc tham chiếu.
DGX BasePOD là lựa chọn cho quy mô nhỏ, từ vài node tới vài chục node. NVIDIA công bố thiết kế, còn các nhà cung cấp lưu trữ được chứng nhận là bên chủ yếu tuỳ biến và triển khai. Phần mềm nền là Base Command cùng NGC, lưu trữ do bên thứ ba được chứng nhận cung cấp.
DGX SuperPOD là giải pháp trọn gói ở quy mô lớn: danh mục thiết bị cố định, dịch vụ lắp đặt, dịch vụ hỗ trợ và cam kết hiệu năng đi kèm. Phần mềm nền là Base Command cùng NVIDIA AI Enterprise, các thiết kế mới hơn dùng Mission Control.
| BasePOD | SuperPOD | |
|---|---|---|
| Tính chất | Linh hoạt, tuỳ biến theo nhà cung cấp lưu trữ | Trọn gói, danh mục thiết bị cố định |
| Quy mô | Vài node tới vài chục | Hàng chục tới hàng nghìn node |
| Cam kết hiệu năng | Không | Có |
| Dịch vụ lắp đặt | Theo đối tác | NVIDIA cung cấp |
| Phần mềm | Base Command, NGC | Base Command, NVIDIA AI Enterprise, Mission Control |
Về quy mô SuperPOD, các tài liệu của NVIDIA không hoàn toàn khớp nhau. Trang hỏi đáp đưa khoảng 31 tới 1.023 node, trong khi các kiến trúc tham chiếu mô tả cấu hình đã kiểm thử đầy đủ là 4 Scalable Unit tức 128 node, và nói có thể mở rộng vượt 2.000 node. Khi cần con số chính xác cho một thiết kế thật, phải tra đúng tài liệu của đời phần cứng đang dùng.
11. Scalable Unit, đơn vị mở rộng
Scalable Unit (SU) là khối lắp ghép nhỏ nhất của SuperPOD. Thay vì thiết kế lại fabric mỗi lần thêm máy, khách hàng nhân bản nguyên một SU đã được tính toán sẵn về số switch, số cáp và cách đi dây.
Số node mỗi SU thay đổi theo từng đời, và đây là chỗ hay nhớ nhầm:
| Đời | Node mỗi SU | Compute fabric |
|---|---|---|
| DGX A100 | 20 | HDR 200 Gb/s |
| DGX H100 | 32, bảng chính thức ghi 31 | Quantum-2 QM9700, NDR 400 Gb/s |
| DGX H200 | 32, cấu hình kiểm thử 4 SU tức 128 node | Quantum-2 QM9700, NDR 400 Gb/s |
| DGX B200 | 32 | Quantum-2 QM9700, NDR 400 Gb/s |
| DGX GB200 | 8 | |
| DGX B300 | 72 | Quantum-X800 Q3400, XDR 800 Gb/s |
Con số 31 thay vì 32 ở đời H100 có lý do rất cụ thể: một vị trí trong SU phải nhường cho kết nối của UFM (Unified Fabric Manager), thành phần quản lý fabric InfiniBand. Chi tiết nhỏ này hay xuất hiện trong câu hỏi dạng đếm.
12. Control plane: phần ít ai nhắc nhưng không thể thiếu
Một cụm GPU cần một nhóm máy chủ riêng để điều hành, và chúng không phải máy có GPU. Kiến trúc tham chiếu khuyến nghị 8 node control plane cho mỗi cụm, cấu hình cho chế độ sẵn sàng cao.
Cấu hình mỗi node control plane:
| Thành phần | Thông số |
|---|---|
| CPU | 2 chip, mỗi chip 32 nhân |
| RAM | Ít nhất 256 GB DDR5 |
| Ổ boot | 1 TB SSD |
| Ổ cục bộ | 4 TB SSD |
| Mạng | 1 BlueField-3 B3220 DPU |
| Quản lý | Cổng BMC 1 Gb |
Cách phân bổ tám node đó theo ví dụ của NVIDIA:
- 2 node cho Base Command Manager, chạy cặp để sẵn sàng cao.
- 2 node làm Slurm head node.
- 3 node làm Kubernetes control plane, đủ số lẻ để bầu leader theo cơ chế quorum.
- 1 node còn lại để dự phòng.
Con số ba cho Kubernetes không phải chọn bừa. Cơ chế đồng thuận của etcd cần quá bán để ra quyết định, nên ba node chịu được hỏng một, còn hai node thì hỏng một là mất quorum và cụm đóng băng.
Các node này cũng nối vào mạng in-band ở tốc độ 200 Gb/s và được bonding để không có điểm hỏng đơn lẻ.
13. Phần mềm đi kèm
Phần cứng chỉ là một nửa của một kiến trúc tham chiếu. Nửa còn lại:
NVIDIA Base Command Manager quản lý cụm: cấp phát node, cài hệ điều hành, theo dõi tình trạng, và điều phối job. Điểm đáng nhớ cho kỳ thi là nó điều phối được cả Kubernetes lẫn Slurm, đó cũng là lý do Slurm xuất hiện trong chương trình học của một chứng chỉ về AI.
NVIDIA AI Enterprise là gói phần mềm thương mại kèm hỗ trợ, gồm các framework, thư viện và container đã được kiểm thử cùng nhau, trong đó có Triton Inference Server.
NVIDIA Mission Control là lớp vận hành cho các hệ thống mới, xuất hiện trong các thiết kế SuperPOD và các hệ rack-scale GB200 cùng GB300.
UFM (Unified Fabric Manager) quản lý fabric InfiniBand: giám sát, chẩn đoán và cấu hình. Trong SuperPOD B300, mạng lưu trữ InfiniBand do UFM 3.5 Appliance Enterprise Edition quản lý. UFM chỉ tồn tại ở fabric InfiniBand, bên Ethernet dùng công cụ quản lý mạng thông thường.
Phần tiếp theo của loạt bài đi vào mặt vận hành: điện, làm mát, cách ước lượng số GPU cho một model, và các chỉ số cần theo dõi khi cụm đã chạy.
Muốn xem một bản thiết kế cụm hoàn chỉnh với danh mục thiết bị và sơ đồ đấu nối cụ thể, có bài riêng ngoài loạt chứng chỉ này: AI Cluster Factory, từng bước một.
Nguồn tham khảo
Đã fact-check (truy cập 2026-10-23):
- Định nghĩa HGX là baseboard nhiều GPU nối bằng NVLink: NVIDIA HGX Platform
- Định nghĩa MGX là kiến trúc module cho đối tác tự chọn tổ hợp GPU, DPU, CPU: MGX Platform for Modular Server Design, NVIDIA MGX Gives System Makers Modular Architecture
- H200 NVL bán theo đường MGX: NVIDIA H200 Tensor Core GPU
- Topology NVLink của DGX H200, HGX H200 và HGX H20 giống bản H100: NVIDIA Fabric Manager User Guide
- Thông số baseboard HGX H100, H200, B200 và yêu cầu tối thiểu cho server 8 GPU (2 socket, 48 nhân mỗi socket, 1,5 TB RAM ở 500 GB/s, NVMe 1 TB hoặc 2 TB mỗi socket, TPM 2.0, 8 SuperNIC cho East/West và 1 BlueField-3 DPU cho North/South, tỉ lệ 1 NIC trên 1 GPU), cấu hình và cách phân bổ 8 node control plane: Components, NVIDIA HGX AI Factory
- Phân biệt BasePOD và SuperPOD, quy mô và phần mềm nền: NVIDIA DGX SuperPOD FAQ, DGX BasePOD Overview. Các tài liệu không khớp nhau về số node tối đa: trang hỏi đáp đưa 31 tới 1.023 node, kiến trúc tham chiếu mô tả cấu hình kiểm thử 128 node và khả năng mở rộng vượt 2.000 node.
- Số node mỗi Scalable Unit theo từng đời và lý do con số 31 ở đời H100 (nhường chỗ cho kết nối UFM): DGX SuperPOD Architecture, DGX H100, DGX SuperPOD Reference Architecture, DGX H200
- Scalable Unit 72 node của đời B300, UFM 3.5 Appliance quản lý fabric lưu trữ, kết nối in-band 200 Gb/s có bonding: SuperPOD with DGX B300 Components
- Bố cục rack NVL72 với 18 compute tray và 9 NVLink switch tray: NVIDIA DGX GB Rack Scale Systems User Guide
Lưu ý về giá: NVIDIA không công bố giá niêm yết chính thức cho dòng DGX. Khoảng 300.000 tới 520.000 USD nêu ở mục 8 tổng hợp từ các nguồn phân phối năm 2026, chỉ dùng để hình dung độ lớn và thay đổi theo cấu hình, khu vực, thời điểm. Vì vậy bài này không nêu con số cụ thể cho DGX B200, DGX B300 hay các server HGX của OEM.