NCA-AIIO 4: H100, H200, kiến trúc Hopper và hệ thống DGX
Loạt NCA-AIIO (9 phần): 1. Tổng quan & GPU cơ bản · 2. CUDA & lập trình song song · 3. Container & inference serving · 4. H100, H200 & DGX · 5. Networking data center · 6. GPUDirect & NCCL · 7. Blackwell & NVL72 · 8. HGX, DGX & SuperPOD · 9. Vận hành, điện & sizing
Phần 4/9 trong loạt NCA-AIIO: đọc sau Phần 3. Phần cứng trọng tâm của đề thi, kèm toàn bộ data sheet cần thuộc.
Cập nhật: 2026-10-23
Mục lục
- 1. Hopper sinh ra để giải quyết chuyện gì?
- 2. H100 có hai biến thể, nhận ra chúng bằng con số nào
- 3. Data sheet H100 đầy đủ
- 4. H200: cùng sức tính, gấp đôi bộ nhớ
- 5. Vì sao inference nghẽn ở bộ nhớ chứ không ở FLOPS?
- 6. Transformer Engine và độ chính xác FP8
- 7. MIG: cắt một GPU vật lý thành nhiều GPU logic
- 8. Grace Hopper Superchip
- 9. TDP, làm mát và mật độ điện
- 10. NVIDIA DGX là gì?
- 11. DGX H100: cấu hình chi tiết
- 12. Dual Xeon Platinum 8480C, phần CPU của DGX
- 13. DGX SuperPOD và Scalable Unit
- Nguồn tham khảo
1. Hopper sinh ra để giải quyết chuyện gì?
Một câu hỏi đề thi hay gặp có dạng: hệ thống cần nạp một model 100 tỉ tham số để inference, mỗi tham số ở định dạng FP16, vậy cần bao nhiêu GPU? Phép tính thì đơn giản: 100 tỉ × 2 byte = 200 GB, chia cho dung lượng bộ nhớ một card. Nhưng để chia được thì phải nhớ chính xác một card H100 có bao nhiêu GB, và đó là lý do phần này tồn tại.
H100 là dòng GPU data center chạy trên kiến trúc Hopper, đặt theo tên Grace Hopper, nhà khoa học máy tính người Mỹ. Đây là phần cứng chiếm tỉ trọng lớn nhất trong đề thi NCA-AIIO, và cũng là dòng còn phổ biến ngoài thực tế tới cuối thập kỷ: các cụm H100 đã lắp xong không bị tháo đi chỉ vì có đời mới, và tình trạng khan hiếm bộ nhớ HBM khiến vòng đời phần cứng kéo dài thêm.
Ba thứ cần rút ra từ phần này:
- Phân biệt được hai biến thể H100 chỉ bằng một vài con số trong đề bài.
- Giải thích được vì sao H200 giữ nguyên sức tính mà vẫn nhanh hơn H100 khi chạy LLM.
- Tính được số rack cần thiết khi biết số GPU và trần công suất mỗi rack.
💡 Hình dung như thế này: data sheet của một GPU data center giống bảng thông số của một chiếc xe tải. Mã lực (FLOPS) nói xe kéo khoẻ tới đâu, nhưng thùng xe (bộ nhớ) mới quyết định chở được bao nhiêu hàng mỗi chuyến, còn chiều rộng cửa thùng (băng thông bộ nhớ) quyết định bốc dỡ nhanh hay chậm. Một model quá to so với thùng thì không có cách nào nhét vừa, dù động cơ mạnh đến đâu.
2. H100 có hai biến thể, nhận ra chúng bằng con số nào
NVIDIA bán H100 dưới hai dạng đóng gói khác nhau, SXM và PCIe, và đề thi thường không nói rõ đang hỏi về dạng nào. Cách duy nhất là nhận diện qua các giá trị đặc trưng xuất hiện trong câu hỏi.
H100 SXM dùng socket SXM, một đế cắm riêng do NVIDIA thiết kế, hàn thẳng lên baseboard cùng với các GPU khác. GPU ở dạng này giao tiếp với nhau qua NVLink chứ không qua PCIe, nên không có chuyện "cắm card vào khe PCIe" như card đồ họa thông thường. Đây là dạng dùng trong HGX và DGX.
H100 NVL là card PCIe hai slot, làm mát bằng khí, cắm vào khe PCIe của server như một card mở rộng bình thường. Chữ NVL đến từ việc hai card được nối với nhau bằng cầu NVLink. Vì bán theo cặp nên nhiều tài liệu ghi dung lượng 188 GB: đó là tổng của hai GPU, mỗi GPU 94 GB.
H100 PCIe 80 GB là SKU thứ ba, ít được nhắc tới hơn hai bản trên: card PCIe dùng HBM2e 80 GB, băng thông khoảng 2 TB/s, TDP 350 W và chỉ 114 SM. Khi đề bài cho "80 GB bộ nhớ" kèm dấu hiệu card PCIe, đáp án là bản này chứ không phải SXM.
Bảng nhận dạng nhanh:
| Thấy con số này trong đề | Đang nói về |
|---|---|
| 900 GB/s băng thông GPU-to-GPU | SXM |
| 700 W TDP | SXM |
| 80 GB bộ nhớ, băng thông 3,35 TB/s | SXM |
| 16.896 CUDA core, 132 SM | SXM |
| 94 GB bộ nhớ (hoặc 188 GB cho một cặp) | NVL |
| 350–400 W TDP | NVL |
| 600 GB/s băng thông GPU-to-GPU | NVL |
| Server 1–8 GPU | NVL |
| Server 4 hoặc 8 GPU | SXM |
| 80 GB bộ nhớ kèm card PCIe, băng thông khoảng 2 TB/s | H100 PCIe, SKU thứ ba ngoài SXM và NVL |
Chi tiết dễ bị bỏ qua: số lượng GPU mỗi server khác nhau giữa hai biến thể. SXM chỉ có cấu hình 4 hoặc 8 GPU, không có 1, 2 hay 6. NVL thì linh động từ 1 đến 8. Khi đề bài nói "server có 6 GPU", đó là tín hiệu loại trừ SXM.
3. Data sheet H100 đầy đủ
Đây là bảng cần thuộc. Các giá trị Tensor Core ở độ chính xác TF32 trở xuống là con số có sparsity, tức NVIDIA đo trong điều kiện ma trận thưa; con số dày đặc (dense) bằng một nửa. Riêng dòng FP64 Tensor Core là con số dense và không có biến thể sparsity, nên quy tắc chia hai không áp cho dòng đó. Đề thi thường trích thẳng số có sparsity vì đó là số in đậm trên trang sản phẩm.
| Thông số | H100 SXM | H100 NVL |
|---|---|---|
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor Core | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor Core | 1.979 TFLOPS | 1.671 TFLOPS |
| FP16 Tensor Core | 1.979 TFLOPS | 1.671 TFLOPS |
| FP8 Tensor Core | 3.958 TFLOPS | 3.341 TFLOPS |
| INT8 Tensor Core | 3.958 TOPS | 3.341 TOPS |
| Bộ nhớ GPU | 80 GB HBM3 | 94 GB HBM3 |
| Băng thông bộ nhớ | 3,35 TB/s | 3,9 TB/s |
| Decoder | 7 NVDEC, 7 JPEG | 7 NVDEC, 7 JPEG |
| TDP tối đa | Tới 700 W (cấu hình được) | 350–400 W (cấu hình được) |
| MIG | Tối đa 7 instance, 10 GB mỗi instance | Tối đa 7 instance, 12 GB mỗi instance |
| Form factor | SXM | PCIe hai slot, làm mát khí |
| Kết nối | NVLink 900 GB/s, PCIe Gen5 128 GB/s | NVLink 600 GB/s, PCIe Gen5 128 GB/s |
| Cấu hình server | HGX H100 và hệ thống NVIDIA-Certified, 4 hoặc 8 GPU; DGX H100 8 GPU | Hệ thống partner và NVIDIA-Certified, 1–8 GPU |
Về mặt cấu tạo, bản SXM có 132 SM (streaming multiprocessor), còn bản H100 PCIe 80 GB (SKU riêng, không phải NVL) bị cắt còn 114 SM; bản NVL 94 GB dùng die bin cao hơn nên không nằm ở mức 114 SM. Hopper bố trí 128 nhân FP32 trên mỗi SM, nhân ra 16.896 nhân FP32 cho bản SXM. Con số 16.896 thường được gọi tắt là "CUDA core" và xuất hiện khá nhiều trong đề.
Những dòng trong data sheet không cần bận tâm: số lượng decoder NVDEC/JPEG chỉ liên quan tới xử lý video, hiếm khi vào đề của chứng chỉ hạ tầng AI.
4. H200: cùng sức tính, gấp đôi bộ nhớ
Đặt hai bảng data sheet cạnh nhau sẽ thấy một điều lạ: H200 có y hệt H100 ở mọi dòng tính toán.
| Thông số | H100 SXM | H200 SXM | Chênh lệch |
|---|---|---|---|
| FP64 | 34 TFLOPS | 34 TFLOPS | Không đổi |
| TF32 Tensor Core | 989 TFLOPS | 989 TFLOPS | Không đổi |
| FP16 / BF16 Tensor Core | 1.979 TFLOPS | 1.979 TFLOPS | Không đổi |
| FP8 Tensor Core | 3.958 TFLOPS | 3.958 TFLOPS | Không đổi |
| Bộ nhớ GPU | 80 GB HBM3 | 141 GB HBM3e | +76% |
| Băng thông bộ nhớ | 3,35 TB/s | 4,8 TB/s | +43% |
| MIG | 7 × 10 GB | 7 × 18 GB | Mỗi lát to hơn |
| TDP tối đa | Tới 700 W | Tới 700 W | Không đổi |
H200 dùng chung GPU die với H100, chỉ thay HBM3 bằng HBM3e dung lượng lớn hơn và nhanh hơn. Cùng mức điện 700 W, cùng socket SXM, cùng baseboard HGX. Một hệ thống HGX H200 8 GPU vì vậy có 1,1 TB bộ nhớ so với 640 GB của bản H100.
Biến thể PCIe của H200 mang tên H200 NVL, 141 GB, TDP tối đa 600 W, nối bằng cầu NVLink 2 chiều hoặc 4 chiều. Bản này được bán theo đường MGX chứ không phải HGX, một khác biệt nhỏ nhưng có thể vào đề.
5. Vì sao inference nghẽn ở bộ nhớ chứ không ở FLOPS?
Nếu H200 không nhanh hơn H100 một phép nhân nào, vì sao NVIDIA quảng cáo nó chạy Llama 2 70B nhanh gần gấp đôi?
Lý do nằm ở cách một LLM sinh chữ. Mỗi token mới được sinh ra đòi hỏi GPU đọc toàn bộ trọng số của model từ HBM vào nhân tính toán, làm vài phép nhân ma trận, rồi lặp lại cho token tiếp theo. Với model 70 tỉ tham số ở FP16, đó là 140 GB dữ liệu phải chảy qua đường ống bộ nhớ cho mỗi token. Nhân tính toán phần lớn thời gian ngồi chờ dữ liệu về, không phải chờ hết việc.
Khi đó băng thông bộ nhớ trở thành trần thực sự. Tăng từ 3,35 lên 4,8 TB/s nghĩa là mỗi giây nạp được nhiều trọng số hơn 43%, và tốc độ sinh token tăng theo gần như tỉ lệ thuận. Thêm vào đó, 141 GB cho phép nhét trọn model 70B FP16 vào một card thay vì phải xẻ ra hai card rồi trả giá bằng giao tiếp qua NVLink.
💡 Hình dung như thế này: nhân tính toán của GPU giống một đầu bếp cực nhanh, còn HBM là kho nguyên liệu ở phòng bên. Nếu mỗi món ăn đòi hỏi chạy sang kho lấy đủ 140 ký nguyên liệu, thì tốc độ ra món bị quyết định bởi độ rộng của hành lang nối bếp với kho, không phải bởi tốc độ tay dao của đầu bếp. Mở rộng hành lang (băng thông) và dời kho lại gần (tăng dung lượng để khỏi phải sang kho khác) đều giúp ra món nhanh hơn, dù đầu bếp vẫn là người cũ.
Quy tắc ước lượng dung lượng cần nhớ cho đề thi:
| Tình huống | Bộ nhớ cần |
|---|---|
| Inference, model FP16 | Số tham số × 2 byte, cộng thêm dự phòng cho KV cache |
| Inference, model FP8 | Số tham số × 1 byte |
| Training | Gấp 2 đến 4 lần kích thước model, vì phải giữ thêm gradient và trạng thái optimizer |
Ví dụ: model 70 tỉ tham số ở FP16 cần khoảng 140 GB chỉ riêng cho trọng số. Một H100 SXM 80 GB không đủ: hai card nếu chỉ tính trọng số, và ba card khi cộng khoảng 20% dự phòng cho KV cache, vì 168 GB chia 80 GB ra 2,1. Một H200 141 GB thì vừa khít phần trọng số, nhưng gần như không còn chỗ cho KV cache nên thực tế vẫn nên tính dư. Phép tính đầy đủ theo từng bước nằm ở phần vận hành và sizing của loạt bài.
6. Transformer Engine và độ chính xác FP8
Kiến trúc Hopper mang theo một danh sách tính năng, trong đó thứ quan trọng nhất với chứng chỉ này là Transformer Engine.
Các tính năng của Hopper:
- Transformer Engine, thành phần giúp H100 chạy hiệu quả các model dựa trên kiến trúc transformer.
- Hỗ trợ NVLink thế hệ 4 và NVSwitch thế hệ 3.
- NVIDIA Confidential Computing, bảo vệ dữ liệu ngay khi đang được xử lý.
- MIG thế hệ 2.
- Tập lệnh DPX, tăng tốc các thuật toán quy hoạch động.
- Tensor core thế hệ 4, chuyên cho phép nhân ma trận.
Một lớp transformer thực hiện rất nhiều phép nhân ma trận: ba phép chiếu để tạo query, key và value, một phép tính điểm attention, một phép tạo đầu ra attention, rồi mạng feed-forward. Nhân lên vài chục lớp và vài nghìn token, khối lượng phép nhân trở nên khổng lồ.
Transformer Engine làm một việc cụ thể: nó theo dõi dải giá trị thực tế chạy qua từng lớp, rồi tự quyết định lớp nào chạy được ở FP8 và lớp nào cần giữ FP16 để không mất độ chính xác. FP8 chỉ dùng 1 byte mỗi giá trị thay vì 2 byte, nên vừa gấp đôi thông lượng tính toán vừa giảm một nửa lượng dữ liệu phải chuyển qua bộ nhớ.
Điểm cần nhớ khi làm bài: muốn tận dụng Transformer Engine của H100, model phải ở định dạng FP8 hoặc FP16. Một model FP32 không hưởng lợi gì từ thành phần này.
Về bản thân kiến trúc transformer, do nhóm nghiên cứu tại Google công bố năm 2017, cấu trúc gồm hai nửa:
- Encoder đọc và biểu diễn văn bản đầu vào, rút ra ý nghĩa của từ trong ngữ cảnh cụ thể.
- Decoder dựa trên biểu diễn đó để sinh ra văn bản mới theo từng token.
Các LLM phổ biến hiện nay phần lớn chỉ dùng nửa decoder. Chi tiết này không vào đề, nhưng giúp hiểu vì sao phần cứng tối ưu cho "transformer" lại đồng nghĩa với tối ưu cho LLM.
7. MIG: cắt một GPU vật lý thành nhiều GPU logic
MIG (Multi-Instance GPU) chia một GPU vật lý thành nhiều instance độc lập, mỗi instance có phần SM, phần bộ nhớ và phần băng thông riêng, cách ly hẳn với nhau. Hai workload chạy trên hai instance khác nhau không giành tài nguyên của nhau và không nhìn thấy nhau.
Tính năng này chỉ có trên một danh sách phần cứng cụ thể do NVIDIA liệt kê: A30, A100, H100, H200, B200, GB300 và RTX PRO Blackwell. Dòng GeForce RTX tiêu dùng không hỗ trợ, và Ada Lovelace (L4, L40S) cũng không, dù compute capability 8.9 của nó cao hơn Ampere.
Các profile khả dụng trên H100 80 GB:
| Profile | Số instance tối đa | Phần SM | Dùng khi |
|---|---|---|---|
1g.10gb | 7 | 1/7 | Nhiều model nhỏ chạy song song |
1g.20gb | 4 | 1/7 | Model nhỏ nhưng cần nhiều bộ nhớ |
2g.20gb | 3 | 2/7 | Inference tầm trung |
3g.40gb | 2 | 3/7 | Chia đôi card cho hai nhóm |
4g.40gb | 1 | 4/7 | Một workload lớn, phần card còn lại để dành cho việc khác |
7g.80gb | 1 | 7/7 | Toàn bộ card, tương đương tắt MIG |
Cách đọc tên profile: số trước chữ g là số lát compute, số sau là dung lượng bộ nhớ. 3g.40gb nghĩa là 3 phần bảy sức tính kèm 40 GB.
Hai profile 1g.10gb và 1g.20gb có cùng phần SM nhưng khác dung lượng, đúng với tình huống model nhỏ mà cần chỗ chứa rộng. Ngoài sáu profile trong bảng, NVIDIA còn một biến thể 1g.10gb+me, tối đa một instance, phần +me nghĩa là instance đó được cấp thêm media engine để giải mã video.
Thao tác qua dòng lệnh:
# Bật MIG trên GPU số 0, cần quyền root và GPU đang rảnh
sudo nvidia-smi -i 0 -mig 1
# Liệt kê các profile GPU instance khả dụng kèm ID
nvidia-smi mig -lgip
+-----------------------------------------------------------------------------+
| GPU instance profiles: |
| GPU Name ID Instances Memory P2P SM DEC ENC |
| Free/Total GiB CE JPEG OFA |
|=============================================================================|
| 0 MIG 1g.10gb 19 7/7 9.75 No 16 1 0 |
| 0 MIG 1g.20gb 15 4/4 19.62 No 16 1 0 |
| 0 MIG 2g.20gb 14 3/3 19.62 No 32 2 0 |
| 0 MIG 3g.40gb 9 2/2 39.50 No 60 3 0 |
| 0 MIG 4g.40gb 5 1/1 39.50 No 64 4 0 |
| 0 MIG 7g.80gb 0 1/1 79.25 No 132 7 0 |
+-----------------------------------------------------------------------------+
# Tạo GPU instance theo profile ID 9 (3g.40gb), kèm compute instance tương ứng
sudo nvidia-smi mig -cgi 9 -C
Cờ -C tạo luôn compute instance bên trong GPU instance vừa tạo, bỏ cờ này thì phải tạo thủ công ở bước sau. Chi tiết hay bị sai: tham số truyền cho -cgi là profile ID (cột ID trong bảng trên), không phải tên profile, và ID thay đổi theo từng đời GPU. Luôn chạy -lgip trước để lấy ID đúng.
💡 Hình dung như thế này: MIG giống việc ngăn một văn phòng lớn thành nhiều phòng nhỏ bằng vách cứng, mỗi phòng có cửa riêng, điều hoà riêng và ổ điện riêng. Khách thuê phòng này mở nhạc to cũng không ảnh hưởng phòng bên, khác hẳn với kiểu kê thêm bàn vào một phòng chung, nơi ai ồn ào là cả phòng chịu.
8. Grace Hopper Superchip
Hai cái tên gần giống nhau nhưng chỉ hai thứ khác hẳn, và đây là chỗ hay nhầm trong đề thi.
Hopper là tên kiến trúc GPU, thứ chạy bên trong H100 và H200.
Grace Hopper là tên một module ghép hai chip, ví dụ GH200, gồm một CPU Grace (CPU kiến trúc ARM do NVIDIA thiết kế) đặt cạnh một GPU Hopper. Hai chip nối với nhau bằng NVLink-C2C, một đường kết nối chip-to-chip băng thông cao độ trễ thấp, thay cho PCIe. Nhờ vậy CPU và GPU chia sẻ không gian bộ nhớ mạch lạc, GPU đọc thẳng RAM của CPU mà không phải chép qua lại.
Lợi ích thực tế xuất hiện khi model lớn hơn bộ nhớ GPU: thay vì tràn ra ổ đĩa, phần dư nằm trong RAM hệ thống của Grace và vẫn được truy cập ở tốc độ chấp nhận được.
9. TDP, làm mát và mật độ điện
TDP (Thermal Design Power) cho biết lượng nhiệt tối đa một linh kiện sinh ra, tính bằng watt. Con số này cũng chính là lượng nhiệt hệ thống làm mát phải tản đi để giữ linh kiện trong ngưỡng an toàn. H100 SXM có TDP tới 700 W, H100 NVL ở mức 350–400 W.
💡 Hình dung như thế này: TDP giống công suất một chiếc bếp điện bật hết cỡ. Biết trước bếp toả ra bao nhiêu nhiệt thì mới chọn được máy hút đủ mạnh. Một GPU 700 W tương đương bật liên tục bảy chiếc bếp 100 W, và một rack chứa mười sáu GPU như vậy là hơn một trăm chiếc bếp trong một tủ cao hai mét.
Closed-loop liquid cooling bơm chất lỏng theo vòng kín qua một cold plate, tấm kim loại áp sát mặt chip. Chất lỏng không nhất thiết là nước, có thể là dung dịch chuyên dụng. Cách làm này gọi là direct-to-chip cooling, hay direct liquid cooling: nhiệt được lấy đi ngay tại nguồn thay vì phải thổi khí qua cả thùng máy.
Với GPU TDP từ 700 W trở lên, làm mát bằng khí gần như không còn khả thi ở mật độ cao. Khi đề thi hỏi phương án làm mát cho GPU TDP lớn, đáp án gần như luôn là direct liquid cooling.
Ba nhận định sai thường được cài vào đáp án nhiễu:
- Liquid cooling giảm nhiệt độ nhưng không giảm lượng điện tiêu thụ. Chip vẫn ăn đúng ngần ấy watt.
- Bộ nguồn hiệu suất cao giảm hao phí chuyển đổi, cũng không làm GPU bớt tiêu thụ.
- Liquid cooling không phải công nghệ để tăng capacity mỗi rack theo nghĩa thêm sức tính; nó chỉ gỡ bỏ nút thắt nhiệt, nhờ đó mới nhồi được nhiều GPU hơn trong cùng thể tích.
Mật độ điện mỗi rack tăng rất nhanh theo thời gian. Một rack trung bình năm 2011 tiêu thụ khoảng 2,4 kW. Một rack AI hiện nay có thể vượt 100 kW, và các thiết kế rack-scale thế hệ mới đã chạm ngưỡng vài trăm kW.
Bài toán mẫu về power density. Cần triển khai 64 GPU H100 SXM (TDP 700 W), mỗi rack chịu được 15 kW:
64 × 700 W = 44.800 W = 44,8 kW
44,8 kW ÷ 15 kW mỗi rack = 2,99 → tối thiểu 3 rack
Cộng phần còn lại của node, vì GPU chỉ chiếm khoảng 70% điện của một node:
44,8 kW ÷ 0,7 = 64 kW
64 kW ÷ 15 kW mỗi rack = 4,27 → cần 5 rack
Ba rack là đáp án toán học, nhưng không phải đáp án kỹ thuật. Con số 44,8 kW mới chỉ tính riêng GPU, chưa tính CPU, quạt, NIC, bộ nhớ và hao phí của bộ nguồn. Phần GPU chỉ chiếm khoảng 70% tổng điện của một node, nên tổng điện thực tế là 64 kW và số rack cần thiết là 5 rack. Khi đề thi đưa hai đáp án kiểu "3 rack" và "5 rack", hãy đọc kỹ câu hỏi: hỏi mức tối thiểu về lý thuyết thì chọn 3, hỏi thiết kế triển khai thì chọn 5. Quy trình tính đầy đủ, kèm cả bài toán tính ngược từ trần điện của phòng máy, nằm ở phần vận hành và sizing của loạt bài.
10. NVIDIA DGX là gì?
NVIDIA DGX là dòng server rack-mount do chính NVIDIA thiết kế, sản xuất và bảo hành, bán nguyên hộp kèm sẵn hệ điều hành và software stack. Khách hàng cắm điện, nối mạng là chạy được, không phải tự chọn CPU, RAM hay NIC.
Về bên ngoài, DGX H100 và DGX H200 trông giống hệt nhau. Khác biệt nằm ở GPU bên trong: DGX H200 lắp 8 GPU H200, kèm 4 NVSwitch, 10 card ConnectX-7, hai CPU Intel Xeon Platinum 8480C và 30 TB ổ NVMe.
Sự khác nhau giữa DGX, HGX và MGX là một chủ đề riêng, được tách ra ở phần sau của loạt bài này.
11. DGX H100: cấu hình chi tiết
Đây là hệ thống nhiều khả năng xuất hiện nhất trong đề thi.
| Thành phần | Thông số |
|---|---|
| GPU | 8 × H100 SXM |
| NVLink mỗi GPU | 18 kết nối |
| Băng thông GPU-to-GPU | 900 GB/s bidirectional |
| NVSwitch | 4 thiết bị |
| Băng thông NVLink tổng | 7,2 TB/s bidirectional |
| Bộ nhớ GPU tổng | 640 GB HBM3 |
| Mạng | 10 × ConnectX-7 |
| CPU | 2 × Intel Xeon Platinum 8480C, tổng 112 nhân |
| RAM hệ thống | 2 TB |
| Lưu trữ | 30 TB NVMe SSD |
| Hiệu năng | 32 petaFLOPS ở FP8 |
| Giá tham khảo | 300.000–450.000 USD mỗi hệ thống, dao động mạnh theo nhà phân phối và cấu hình |
Hai con số băng thông đáng thuộc: 900 GB/s là tốc độ giữa hai GPU bất kỳ, còn 7,2 TB/s là tổng năng lực của toàn bộ fabric NVLink trong hộp. Phép kiểm tra nhanh: 8 GPU × 900 GB/s = 7.200 GB/s = 7,2 TB/s.
Cách con số 900 GB/s hình thành cũng hay bị hỏi ngược: mỗi GPU H100 có 18 link NVLink, mỗi link cho 50 GB/s bidirectional, nhân lên thành 900 GB/s. Khi đề bài hỏi tốc độ một chiều, phải chia đôi con số bidirectional.
12. Dual Xeon Platinum 8480C, phần CPU của DGX
Intel Xeon Platinum 8480C xuất hiện trong cả DGX H100 lẫn DGX H200, nên đáng ghi nhớ. Thông số một chip:
- 56 nhân, 112 thread.
- TDP 350 W.
- Thuộc dòng Intel Xeon Scalable thế hệ 4, ra mắt năm 2023.
- Giá tham khảo khoảng 10.000 USD.
DGX dùng cấu hình dual, nên nhân đôi: tổng 112 nhân và 224 thread. Con số 112 nhân khớp với dòng CPU trong bảng cấu hình ở trên.
Vai trò của CPU trong một hệ thống DGX chủ yếu là tiền xử lý dữ liệu: đọc file, giải nén, tokenize, sắp xếp batch rồi đẩy sang GPU. Đây là các thao tác nhiều nhánh rẽ, khó song song hoá kiểu SIMD, nên hợp với CPU hơn. Nếu CPU quá yếu, GPU sẽ đói dữ liệu và tỉ lệ sử dụng tụt xuống dù model chạy đúng.
13. DGX SuperPOD và Scalable Unit
DGX SuperPOD là kiến trúc tham chiếu cấp data center: gom nhiều hệ thống DGX lại, cộng thêm fabric InfiniBand, mạng Ethernet quản lý, các node điều khiển và hệ thống lưu trữ. NVIDIA công bố sẵn sơ đồ đấu nối, định mức điện và danh sách thiết bị để khách hàng dựng lại y hệt.
Đơn vị mở rộng nhỏ nhất gọi là Scalable Unit (SU), và với đời DGX H100 một SU gồm 32 node, chạy trên compute fabric Quantum-2 QM9700 ở NDR 400 Gb/s. Thuật ngữ này hay vào đề. Số node mỗi SU thay đổi theo từng đời phần cứng, và cách tổ chức BasePOD cùng SuperPOD được trình bày đầy đủ ở phần về các hình thái đóng gói của loạt bài.
Về InfiniBand trong các hệ thống này, hai thế hệ cần biết là HDR và NDR, trong đó NDR là thế hệ đi cùng H100 và H200. Kết hợp với GPUDirect RDMA, dữ liệu đi thẳng từ bộ nhớ GPU này sang bộ nhớ GPU kia qua mạng mà không vòng qua CPU, giữ độ trễ giao tiếp GPU-to-GPU xuyên node ở mức một tới hai microgiây. Cụm "InfiniBand NDR cộng GPUDirect RDMA cho độ trễ thấp giữa các GPU" là câu đáng thuộc, phần networking sẽ mổ xẻ kỹ hơn.
Nhắc lại những điểm của H100 hay được lặp lại nhiều lần vì tần suất xuất hiện trong đề:
- Chạy trên kiến trúc Hopper, có biến thể superchip GH200 ghép với CPU Grace.
- 900 GB/s băng thông GPU-to-GPU ở bản SXM, nhanh hơn PCIe Gen5 khoảng bảy lần.
- Tensor core thế hệ 4, NVLink thế hệ 4, NVSwitch thế hệ 3.
- Mạng NDR Quantum-2 InfiniBand.
- Transformer Engine chạy FP8 và FP16, nền tảng cho các LLM quy mô nghìn tỉ tham số.
- Bản NVL: card PCIe nối bằng cầu NVLink, 94 GB mỗi GPU và 188 GB cho một cặp.
Nguồn tham khảo
Nguồn gốc: NVIDIA-Certified Associate AI Infrastructure and Operations (NCA AIIO) Free Study Course, kênh freeCodeCamp.org.
Đã fact-check (truy cập 2026-10-23):
- Bảng spec H100 SXM và H100 NVL (bộ nhớ 80/94 GB, băng thông 3,35/3,9 TB/s, TDP 700 W và 350–400 W, NVLink 900/600 GB/s, MIG 7×10 GB và 7×12 GB, cấu hình server 4–8 và 1–8 GPU), cùng chú thích trên trang sản phẩm rằng các giá trị Tensor Core từ TF32 trở xuống đo trong điều kiện có sparsity còn dòng FP64 Tensor Core là số dense: NVIDIA H100 Tensor Core GPU
- Bảng spec H200 SXM và H200 NVL (141 GB HBM3e, 4,8 TB/s, TDP 700/600 W, MIG 7×18 GB và 7×16,5 GB, H200 NVL đi theo đường MGX), cùng các tuyên bố so sánh với H100: NVIDIA H200 Tensor Core GPU
- Số SM của H100 và spec của SKU H100 PCIe 80 GB (132 SM bản SXM5, 114 SM bản PCIe 80 GB, 128 nhân FP32 mỗi SM, bản PCIe dùng HBM2e băng thông khoảng 2 TB/s ở TDP 350 W): NVIDIA Hopper Architecture In-Depth
- Danh sách profile MIG trên H100 80 GB (gồm
4g.40gbtối đa 1 instance với 4/7 phần SM và biến thể1g.10gb+me), danh sách GPU hỗ trợ MIG (A30, A100, H100, H200, B200, GB300, RTX PRO Blackwell; Ada Lovelace L4 và L40S không có trong danh sách) cùng cú phápnvidia-smi mig: NVIDIA Multi-Instance GPU User Guide - Cấu hình DGX H100 (8 GPU, 18 NVLink mỗi GPU, 900 GB/s, 4 NVSwitch, 7,2 TB/s, 10 ConnectX-7, dual Xeon 8480C 112 nhân, 2 TB RAM, 30 TB NVMe): NVIDIA DGX H100 User Guide
- Bộ nhớ baseboard HGX theo từng đời (640 GB cho H100, ~1,1 TB cho H200): Components, NVIDIA HGX AI Factory
- Số node mỗi Scalable Unit và topology rail-optimized fat-tree: DGX SuperPOD Reference Architecture, DGX H200, DGX SuperPOD Architecture, DGX H100
- Scalable Unit 72 node và switch Quantum-X800 Q3400 của đời B300: SuperPOD with DGX B300 Components
- Xeon Platinum 8480C, 56 nhân / 112 thread / TDP 350 W: Intel product specifications
- Phương pháp tính số rack và sizing bộ nhớ dùng thống nhất cho cả loạt bài: phần GPU chiếm khoảng 70% điện của một node nên chia cho 0,7 để ra tổng điện (64 GPU H100 ra 64 kW, tức 5 rack ở trần 15 kW), và inference cộng khoảng 20% dự phòng KV cache (model 70B FP16 ra 168 GB, tức 3 card H100 80 GB). Phép tính từng bước nằm ở phần vận hành, điện và sizing của loạt bài.
- Giá DGX H100: NVIDIA không công bố giá niêm yết chính thức. Các nguồn phân phối năm 2026 báo khoảng 300.000 tới 520.000 USD tuỳ cấu hình, nên con số trong bài chỉ mang tính tham khảo.